Опросы и исследования общественного мнения помогают обществам понимать, что люди думают о политике, здравоохранении, образовании и многом другом. Но в наши дни всё меньше людей склонны отвечать на опросы, поэтому исследователям приходится охватывать более широкую аудиторию, что значительно увеличивает затраты. Один из провайдеров опросов оценивает 10-минутный опрос 1000 человек в десятки тысяч долларов.
Могут ли модели ИИ заменить сотни или тысячи людей, имитируя спектр ответов, которые дали бы реальные респонденты? Эта практика, известная как синтетические опросы или «кремниевая выборка», уже применяется и стоит гораздо дешевле. Но можно ли доверять результатам?
Я исследователь в области машинного обучения. Я изучаю большие языковые модели и их применение в медицине и науке. Эти системы постоянно меняются по мере того, как компании обновляют их. Различные подсказки, настройки и версии моделей могут давать очень разные ответы на одни и те же вопросы. Эта особенность затрудняет надёжное использование моделей в социальных исследованиях, но она же помогает имитировать ответы множества людей — то, что исследователи называют «синтетическими респондентами».
Чтобы получить, например, 10 000 ответов от ChatGPT, исследователь должен задать модели некоторые базовые демографические характеристики и контекст, например: «Ты молодой городской избиратель, студент, с консервативными политическими взглядами. Ответь на следующие вопросы». Исследователи могут менять демографические настройки, чтобы получить от ChatGPT множество различных ответов на один и тот же запрос.
У модели также есть собственная внутренняя случайность, поэтому она естественным образом генерирует разные ответы на один и тот же вопрос, задаваемый повторно. Таким образом, комбинируя настройки и случайность, исследователи могут создать 10 000 различных синтетических ответов.
Симуляции — это не мнения
Исследователи общественного мнения давно используют статистические модели для обобщения результатов, полученных от ограниченного числа респондентов. И разные аналитики могут прийти к разным выводам на основе одних и тех же опросных данных. Исследования синтетических респондентов показывают, что они могут быть даже более чувствительны к небольшим изменениям в подсказках или настройках, чем люди, давая резко отличающиеся результаты.
Но использование синтетических респондентов поднимает более глубокую проблему. Опросы — это не просто инструменты прогнозирования. Это измерительные инструменты, предназначенные для того, чтобы уловить, что люди на самом деле думают. Термометр измеряет вашу температуру напрямую. Вы бы не стали доверять термометру, который оценивает вашу температуру, обращаясь к модели ИИ.
Исследователи, которые опрашивают системы ИИ вместо людей, не измеряют общественное мнение — они всего лишь симулируют его.
Большие языковые модели и другие инструменты ИИ наследуют предубеждения и слепые зоны из данных, на которых они обучаются. Например, ИИ может упрощать или искажать мнения групп людей, которые недостаточно представлены в интернете. У традиционных опросов тоже есть смещения, но многие смещения в современных системах ИИ скрыты от глаз общественности внутри закрытых проприетарных моделей. Более того, исследователи могут представлять результаты, полученные от синтетических респондентов, публике так, будто они получены из опросов реальных людей.
Эти недостатки могут подорвать доверие к опросам и социологическим исследованиям. Они также порождают интересный парадокс. Синтетические данные, создаваемые компьютерами или симуляциями, широко используются в современном ИИ. Они помогают обучать системы ИИ для медицины, финансов, робототехники, беспилотных автомобилей и других областей. Так почему же синтетические ответы на опросы кажутся более проблематичными?
Ключевое отличие в том, что синтетические данные проверяются на соответствие реальности. Беспилотный автомобиль может тренироваться на синтетических изображениях и видео различных дорожных условий, но автопроизводитель никогда не выпустит такой автомобиль на общественные дороги без обширных испытаний в реальном мире. Если синтетические данные ухудшают производительность, инженеры могут исправить, переобучить или заменить систему.
Исследователи могут относиться к синтетическим ответам на опросы как к самому общественному мнению, но система не измеряет общественное мнение. Она запускает симуляцию общественного мнения на основе данных, на которых была обучена. Если симулированные мнения искажают реальность, исследователи могут не осознать этого до тех пор, пока ошибочные выводы уже не повлияют на государственную политику, деловые решения или научные исследования.
Более эффективный дизайн и анализ
Тем не менее, существуют способы, с помощью которых ИИ может помочь опросным исследованиям, не ослабляя измерения общественного мнения. Инструменты ИИ могут помогать исследователям формулировать более чёткие вопросы, упрощая формулировки, уменьшая двусмысленность и устраняя повторы. Они могут помогать избегать ненужных вопросов, упрощая респондентам процесс ответа. Эти инструменты также могут адаптировать опросы для разных языков.
После завершения опроса ИИ может помочь исследователям организовать большие объёмы открытых ответов, обобщить повторяющиеся темы и обработать неполные анкеты более эффективно, чем аналитики-люди. Некоторые исследователи изучают гибридные подходы, которые сочетают небольшие опросы людей с анализом при помощи ИИ.
Лица, принимающие решения, используют опросы и исследования общественного мнения, чтобы слышать и понимать голоса людей, на которых влияют их решения. Замена реальных респондентов на синтетических рискует ослабить эту связь. В то же время падение процента ответов и рост затрат — это реальные проблемы для опросов.
Я уверен, что дальнейшие исследования помогут найти способы использования ИИ прозрачно, эффективно и научно обоснованно — без замены людей.
Что же делать на практике? Ответ лежит в создании стандартов прозрачности. Если исследователь или компания публикуют результаты «опроса», в котором участвовали синтетические респонденты, это должно быть явно указано в самом начале — крупным шрифтом, а не мелким примечанием в сноске. Более того, необходимо разработать систему сертификации: опросы, претендующие на репрезентативность, должны сопровождаться отчётом о доле синтетических данных и о том, на каких реальных исследованиях обучалась модель. Иначе мы рискуем оказаться в мире, где политики и маркетологи будут оперировать иллюзией консенсуса, созданной алгоритмами.
Но есть и обнадёживающий сценарий. Сочетание небольшой, но надёжной панели реальных людей с ИИ-ассистентом, который помогает анализировать и экстраполировать их ответы, может стать золотым стандартом будущего. Это удешевит процесс, но сохранит главное: право голоса остаётся за человеком. Технология должна служить линзой, а не источником света. Иначе мы рискуем однажды «измерить» мнение нации и обнаружить, что на той стороне опроса никого не было.
Ваш комментарий