Главная Наука «Налог на проверку»: почему генеративный ИИ экономит время на создании, но отнимает его на контроле
Наука

«Налог на проверку»: почему генеративный ИИ экономит время на создании, но отнимает его на контроле

Когнитивный инженер объясняет, что проверка ответов ИИ — это отдельная и зачастую более сложная работа, чем создание текста; исследования показывают, что разработчики с ИИ выполнили задачу на 19% медленнее, но были уверены, что стали быстрее.

«Налог на проверку»: почему генеративный ИИ экономит время на создании, но отнимает его на контроле
Поделитесь

К настоящему моменту почти каждый задавал вопрос ИИ-агенту и понимал, что ответ кажется не совсем правильным. Что-то может отсутствовать, быть неверным или устаревшим. Одна исполнительная ассистентка рассказала мне, что использует ИИ-инструменты для составления маршрутов и брифингов, но обнаружила достаточно проблем, чтобы теперь закладывать в рабочий процесс время на тщательную проверку на неточности и предвзятость.

В этом и заключается подвох: ответы ИИ могут повышать производительность, но выигрыш часто нивелируется временем и умственной энергией, затрачиваемыми на определение того, точен ли и уместен ли результат. Это и есть бремя проверки. На более глубоком уровне это бремя представляет собой когнитивную цену попытки вернуть себе власть над работой, частично делегированной системе, сохраняя при этом ответственность за конечный продукт. Когнитивный инженер Дэвид Вудс описал эту проблему ещё в 1985 году как «двойную связку ответственности и полномочий»: автоматизация осуществляет практические полномочия, но ответственность остаётся за человеком.

Я когнитивный инженер и изучаю, как люди работают с автоматизированными системами поддержки принятия решений. Проверка генеративного ИИ — это последний пример давней проблемы человеческого фактора: новый вид необходимой работы, вызванный использованием новой технологии. Работники, использующие ИИ, обменивают некоторые навыки, связанные с созданием и преобразованием информации, на отдельные навыки, напоминающие надзор за чрезвычайно быстрым и отшлифованным стажёром. Сложность в том, что этот стажёр выдаёт и хорошую, и плохую работу с одинаково уверенным голосом, даёт мало подсказок о том, где требуется scrutiny, и не несёт никакой ответственности за последствия.

Проверять, а не создавать

Исследования показывают, что проверка новой информации — это иная задача, чем её создание, и не более простая. Метаанализ 86 исследований показал, что люди запоминают то, что создали сами, гораздо лучше, чем то, что они только читали. То же верно и для понимания информации. Исследования также показывают, что материал, который легко читается и понимается, кажется более достоверным, и поэтому люди считают его более вероятным правдой.

Но люди не всегда проверяют ответы ИИ. Вместо этого они склонны взвешивать собственные внутренние издержки и выгоды, чтобы решить, когда проверять. Чрезмерную зависимость от результатов ИИ тоже трудно остановить. Одна исследовательская группа обнаружила, что добавление простых объяснений логики ИИ не устранило дилеммы, которую люди испытывают, решая, стоит ли вкладывать время и энергию в проверку. Люди склонны обобщать агентов как способных или неспособных, без промежуточных вариантов.

Экономисты обнаружили реальные улучшения производительности от использования генеративного ИИ в офисной работе. Но рандомизированное испытание с участием опытных разработчиков программного обеспечения не выявило выигрыша, а время выполнения увеличилось, когда был включён этап проверки. Удивительно, но разработчики считали, что стали быстрее при использовании ИИ, хотя их время выполнения увеличилось на 19%. А крупное исследование консалтинговых команд показало, что использование ИИ вне области экспертизы человека приводило к тому, что больше людей приходили к неверному выводу. Эти исследования не устанавливают существование универсального «налога на проверку», но они показывают, почему одна лишь скорость генерации результата является неполным показателем производительности.

Прочитайте также  Рецепт от стресса с крыльями: ученые выяснили, что наблюдение за птицами лечит тревогу, прокачивает мозг и не требует денег

Почему проверка трудна

Проверка может ощущаться обременительной с точки зрения когнитивной нагрузки, затрат времени и мотивации. Люди чувствуют когнитивное бремя, потому что проверка принципиально отличается от создания. Вы обычно знаете, когда то, что вы создаёте, «готово» или, по крайней мере, достаточно для задачи. Когда прекращать проверку — менее очевидно. Работник должен решить, что проверять и как; он не знает, существует ли ошибка, где она может быть и какую форму может принять. Это похоже на досмотр в аэропорту, где необычная угроза пропускается чаще, чем обычная, потому что инспекторам легко сделать вывод об отсутствии редких угроз. Это бремя больше, когда ИИ помогает кому-то создать работу, превышающую его способность её оценить. Недавнее исследование показало, что логика ИИ помогала людям находить ошибки в лёгких вопросах, но не в трудных, когда помощь нужна больше всего.

Бремя времени возникает потому, что вместо завершения работы обнаружение ошибки запускает новый цикл исправления и затем повторной проверки. Исследования того, как люди оценивают предложения, сгенерированные ИИ, показали, что чем больше работы требуется для исправления выявленной ошибки, тем меньше вероятность того, что люди действительно её исправят. Наконец, проверка несёт мотивационное бремя. Создание даёт видимый прогресс, а проверка может обнаружить лишь то, что ничего не было не так. Когда автоматизация обычно работает хорошо, проверка может казаться непродуктивной, и люди могут постепенно становиться менее бдительными. Эта закономерность была обнаружена два десятилетия назад в исследовании людей, работающих с автоматизированными системами принятия решений.

Обмен навыками

Вместе эти бремена приводят к обмену навыками. В недавнем опросе работники умственного труда заявили, что их критическое мышление смещается от производства к проверке. Работникам также нужно научиться распознавать возможности и ограничения конкретного ИИ-агента, включая упущения и предвзятость. Эти навыки различны, но не обязательно проще, и они могут даже не входить в набор навыков работников, преуспевающих в создании. Поэтому компании и организации не могут рассматривать проверку как естественный шаг, не требующий усилий. Если работники остаются подотчётными за результат, созданный с помощью ИИ, я считаю, что им также необходимо предоставить время, обучение и полномочия, необходимые для его проверки. Измерение прироста производительности не может включать только то, как быстро ИИ создаёт первый черновик. Вместо этого показатель — это то, производит ли весь человеко-машинный рабочий процесс заслуживающую доверия работу при более низких общих затратах.


Источники: Scientific Reports, исследования по человеческому фактору (Woods, 1985), метаанализ 86 исследований, рандомизированные испытания разработчиков ПО и консалтинговых команд, The Conversation.

Поделитесь в вашей соцсети👇

Ваш комментарий

Добавить комментарий

Похожие статьи
Северное командование США заявило о готовности к «катастрофической атаке» на фоне серии загадочных сбоев
Наука

Северное командование США заявило о готовности к «катастрофической атаке» на фоне серии загадочных сбоев

USNORTHCOM сообщило о «круглосуточной готовности» к химической, биологической или ядерной чрезвычайной ситуации...

Greenpeace случайно заблокировала стройплощадку ветропарка за £12 млрд, сбросив валуны в море
Наука

Greenpeace случайно заблокировала стройплощадку ветропарка за £12 млрд, сбросив валуны в море

Экологическая группа установила «каменный барьер» против донного траления у берегов Норфолка, но...

Подделки на кухне: после скандала с солью Maldon эксперты назвали продукты, которые чаще всего фальсифицируют
Наука

Подделки на кухне: после скандала с солью Maldon эксперты назвали продукты, которые чаще всего фальсифицируют

Оливковое масло, мёд манука, масло авокадо, бальзамический уксус, хлеб на закваске, матча...

У Земли появился «минималун»: учёные подтвердили временный спутник 2026 QQ6
Наука

У Земли появился «минималун»: учёные подтвердили временный спутник 2026 QQ6

Небольшой астероид диаметром около двух метров был захвачен гравитацией Земли в апреле...