«Кто пишет лучше, Шекспир или ChatGPT?» – примерно таким вопросом задались исследователи Питтсбургского университета. И решили проверить, как народ отличает поэзию, сгенерированную ИИ, от написанной человеком. Спойлер: никак 🙃. Оказалось, что нейронка выдает на-гора тексты, которые люди считают шедеврами. И наоборот, стихи Шекспира, Байрона и Элиота воспринимаются как генеративные.
Руководили экспериментом Брайан Портер и Эдуард Мэйчери, а результаты были представлены на страницах Scientific Reports. Ученые хотели прояснить два момента. Во-первых, способны ли люди отличать великое и нетленное от продуктов генеративного творчества. Во-вторых, как меняется отношение, если честно сказать, что стихотворение – дело рук нейросети. Если что, стихи генерировала нейронка ChatGPT 3.5. Даже не продвинутая «чо», на минуточку.
Вот и выяснилось, что ИИ-поэзию часто считали «человеческой», а классику, наоборот, принимали за «синтетику» 🤷♂️. Примерно половина растерялась, сказав, что не понимает, где алгоритмы, а где человек. Из оставшихся большая часть все напутала. ИИ-стихи называли «глубокими» и «трогательными», в то время как Шекспир показался недостаточно выразительным. Кстати, в контрольной группе, участники которой знали, кто есть кто, наблюдалась совсем другая картина. Сгенерированные стихи стабильно получали низкий балл. Вот вам и фактор предвзятости.
Организаторы эксперимента всех успокоили. Мол, поэзия – штука сложная. LLM не способны генерировать качественные стихи, даже если они достигнут человеческого уровня в деле написания текстов. Потому что поэзия – это чистое творчество, рождение нового, мета-смыслы. Алгоритмы такое не могут. Прозу – да, наверное. Павел Пепперштейн, кстати, целую книгу выкатил в «соавторстве» с ИИ. А поэзия – дело тонкое.
Что касается результатов эксперимента, все просто. Поэзия – сложный для понимания, а значит и идентификации жанр. Тем более, для людей несведущих. В том, что люди приняли одно за другое, ничего сенсационного нет. Сгенерированный стих снаружи выглядит как настоящий или даже лучше. У нейронки нет души, зато есть доступ к миллионам образцов, из которых можно собрать что-то похожее на шедевр. Нейросеть выдает «слишком хорошие стихи», которые принимают за человеческие. А шероховатую, небезупречную классику объявляют генеративной 🤔.
В итоге вот что. Искусственный интеллект уже сегодня может формально превзойти нас кое-где. Мы сами занижаем его значимость, если знаем, что это дело рук машины, а не человека. ИИ все-таки развивается, и разговоры о том, что до AGI рукой подать, звучат правдоподобно. А теперь к вам вопрос – уверены, что этот текст написал человек?😏
