Люди не могут отличить рассказы, написанные человеком, от текстов, созданных ChatGPT, — и, более того, им больше нравится то, что сочинил искусственный интеллект. К такому выводу пришли авторы нового исследования, опубликованного в журнале Judgment and Decision Making.
Исследователи обнаружили, что читатели стабильно выставляют наивысшие оценки историям, сгенерированным ИИ, — но только в том случае, когда им говорят, что автором является человек. В одной из частей эксперимента участники смогли угадать, какие рассказы написаны ботом, лишь в 39,9 процента случаев — то есть хуже, чем если бы они выбирали наугад. В другой части испытания точность угадывания составила 52 процента, что статистически неотличимо от случайного тыканья пальцем в небо.
Эти результаты указывают на то, что многие по-прежнему считают художественное творчество исключительно человеческой прерогативой — даже будучи не в силах определить, когда работу выполнила машина. Доктор Дина Вайсберг, старший автор исследования с факультета психологии и наук о мозге Университета Вилланова, комментирует: «В нашем исследовании участники давали самые высокие оценки историям, которые, как им было сказано, написаны людьми, но которые на самом деле были созданы ИИ. Я бы сказала, что это выявляет предвзятость в пользу нарративов, написанных реальными людьми. Мы предполагаем, что творческое письмо требует уникальных человеческих качеств — таких как эмоциональное понимание и жизненный опыт, — что и заставляет людей недооценивать способности ИИ. Общественные представления о возможностях ИИ все сильнее отстают от реальности».
Слепой тест
Для исследования ученые протестировали более 2500 взрослых в возрасте от 18 до 81 года с помощью серии коротких рассказов — часть из которых была написана людьми, а часть сгенерирована ИИ. Одним добровольцам до прочтения сообщали, кто автор, другим приходилось угадывать самостоятельно. Анализ показал: когда участники верили, что написанный ИИ рассказ вышел из-под пера человека, они оценивали его как лучше написанный и более захватывающий, чем в любом другом сочетании. В целом ИИ-рассказы также получили более высокие баллы за качество и за то, насколько сильно читатели погружались в сюжет, — независимо от того, что им говорили об авторстве.
Исследователи утверждают, что результаты демонстрируют: общественное восприятие того, на что способен ИИ, безнадежно устарело. «Стоит отметить, что знакомство с системами ИИ, по-видимому, помогает людям распознавать паттерны, типичные для ИИ-текстов, — такие как длинные тире и конструкции вроде «это не просто X, это Y», — добавила доктор Вайсберг. — Это говорит о том, что повышение ИИ-грамотности могло бы помочь людям ориентироваться в новом мире, насыщенном искусственным интеллектом».
Исследование подтверждает более ранние работы, показавшие, что люди часто предпочитают ИИ-тексты в самых разных форматах — от коротких рассказов до поэзии и эссе. Размышляя о причинах этого феномена, Вайсберг пояснила: «ИИ-письмо, как правило, яснее, прямее и легче для восприятия. В отличие от него, рассказы, написанные людьми, часто более тонкие и сложные. Например, в ИИ-версиях наших историй темы обычно заявлялись напрямую, а не позволяли читателю выводить смысл из слов и поступков персонажей». По ее мнению, люди, возможно, в целом предпочитают предсказуемость, потому что сложный или неочевидный материал требует больших умственных усилий, — именно поэтому они и ставили ИИ-рассказам более высокие оценки.
Как распознать ИИ-текст
Среди признаков текста, сгенерированного нейросетью, эксперты выделяют: повторяющиеся шаблоны предложений; чрезмерное использование длинных тире; конструкции вроде «это не просто X, это Y»; склонность объяснять всё до конца; идеальную грамматику; обобщенные описания; сбалансированные, предсказуемые аргументы; частое использование модных словечек и единый тон на протяжении всего текста.
Предыдущие советы по выявлению ИИ-текстов также включают поиск несоответствий и повторов — таких как резкие смены тона, повторяющиеся фразы или синтаксические конструкции. Иногда ИИ может ссылаться на конкретные детали без должного контекста, либо текст выглядит шаблонным и формальным. Чрезмерное употребление жаргона и клише может быть признаком того, что ИИ заполняет пробелы в знаниях обобщенной лексикой. Наконец, мгновенные ответы также могут указывать на ИИ-текст, поскольку людям обычно требуется время, чтобы подумать и ответить. Разработчики уже выпустили ИИ-«детекторы», помогающие выявлять сгенерированный или улучшенный нейросетью текст — например, в студенческих эссе или заявлениях о приеме на работу.
Источники: Исследование, опубликованное в журнале Judgment and Decision Making; комментарии доктора Дины Вайсберг (факультет психологии и наук о мозге Университета Вилланова).
Ваш комментарий