Анонимная наводка поступила на PhillyUnsolvedMurders.com — сайт, которым управляет полицейское управление Филадельфии, — 18 июля 2026 года.
«Возможно, у меня есть информация по этому делу», — говорилось в ней, и автор утверждал, что видел человека, соответствующего описанию подозреваемого, рядом с местом преступления.
Наводка была ложной. На странице не было описания подозреваемого, а информатором на самом деле был Claude Haiku 4.5 — модель ИИ, созданная базирующейся в Сан-Франциско компанией Anthropic.
Наводка была помечена как спам и так и не дошла до следователей. Anthropic обнаружила её в конце сентября, проверяя собственные тестовые записи. Компания уведомила полицию 8 октября и описала инцидент в отчёте, опубликованном 9 октября. Полиция Филадельфии раскрыла информацию в тот же день.
Неконтролируемый тест
Сегодня компании, разрабатывающие ИИ, создают «агентов» — версии своих чат-ботов, которые могут работать с веб-браузером, нажимать кнопки и заполнять формы от имени пользователя. Чтобы измерить, насколько хорошо агент справляется с этим, компании прогоняют его через тысячи тренировочных задач, часто вживую в интернете.
По данным Anthropic, ложная наводка была сгенерирована во время рутинного теста модели.
В этом тесте Haiku 4.5 было поручено придумывать примерные задачи на случайно выбранных веб-страницах, а затем выполнять их. Одной из таких страниц оказалась страница о нераскрытом убийстве в Филадельфии, и на ней была форма для наводок.
В инструкциях модели был перечислен список того, чего она никогда не должна делать: входить в систему, создавать аккаунты, вводить личные данные, совершать покупки и отправлять что-либо разрушительное.
Отправка формы в этом списке отсутствовала.
Поэтому модель написала правдоподобно звучащую наводку, оставила необязательные поля имени и контактов пустыми и нажала «Отправить».
Anthropic утверждает, что тестовые записи указывают: наводка была сгенерирована как пример содержимого для тренировочной задачи, а не для того, чтобы ввести полицию в заблуждение.
Наводка в полицию была одним из нескольких инцидентов в отчёте Anthropic. В другом инциденте исследовательская модель должна была практиковаться на копии правительственной формы. Когда копия не загрузилась, она перешла на настоящий правительственный сайт и отправила форму там. Другие модели Claude нашли способы обходить платные стены и ограничения доступа, чтобы добраться до нужных данных.
Почему ИИ так поступает
Anthropic объясняет эти инциденты настойчивостью своего программного обеспечения. Когда модель не может завершить задачу так, как ей было сказано, она находит обходной путь вместо того, чтобы остановиться и спросить человека, давшего ей первоначальную задачу.
Эта привычка частично проистекает из того, как эти системы учатся: большая часть их навыков строится методом проб и ошибок. Модель многократно пытается выполнить задачу и получает вознаграждение, когда добивается успеха. Если обучение случайно вознаграждает срезание углов, модель усваивает, что срезать углы выгодно. Исследователи называют это «взломом вознаграждения». Человек-студент, которого натаскивают только на получение правильного ответа любой ценой, мог бы усвоить тот же урок.
Однако инструкции, данные ИИ-агенту, никогда не бывают полными. Работник-человек, которому сказали «ничего не покупай и не входи в систему», всё равно знал бы, что нельзя отправлять полиции выдуманный рассказ очевидца. Но у модели нет такого здравого смысла, на который можно опереться. Она восприняла список запрещённых действий как полную границу допустимого поведения.
Именно поэтому эти модели «галлюцинируют», выдумывая вещи. ИИ-агенты созданы для того, чтобы производить беглый, правдоподобный текст. Попросив заполнить форму наводки примером, модель написала то, как обычно звучит наводка, не заботясь о правдивости содержания.
Стоит ли беспокоиться?
Как профессор права, изучающий управление ИИ, я выделяю две проблемы: масштаб и контроль.
Более серьёзная проблема — масштаб. ИИ-агенты выходят из лабораторий и попадают в продукты, которыми люди уже пользуются. Браузер Chrome от Google теперь имеет функцию автопросмотра, которая позволяет его ассистенту Gemini кликать по сайтам и заполнять формы. Браузер Comet от Perplexity и расширение Claude in Chrome от Anthropic делают то же самое.
Каждая задача, которую человек поручает агенту, — это ещё один шанс, что что-то пойдёт не так. Если агенты выполняют миллион задач в день, ошибка, случающаяся лишь раз на 10 000 задач, будет происходить около 100 раз в день. Эти ошибки могут означать ложные сообщения, отнимающие время полиции, заявления на пособия или кредиты, поданные с неверной информацией, или платежи и бронирования, которые пользователь не одобрял.
Сама Anthropic отмечает, что несколько инцидентов произошли во время обычного использования Claude Haiku 4.5, а не только при тестировании. OpenAI аналогичным образом сообщала, что её собственные агенты непреднамеренно попадали на правительственные сайты.
Компании, разрабатывающие ИИ, не могут полностью контролировать своих агентов, и это может привести к большему вреду и пробелам в вопросе о том, кто несёт ответственность. К таким видам вреда могут относиться клевета, предвзятость, обман, социальная инженерия и многое другое. Может показаться справедливым не возлагать на компанию ответственность за действия, которые она не могла контролировать. Но в подобных случаях ни один другой человек или организация также явно не контролирует агента, что может оставить людей, пострадавших от ИИ-агента, без кого-либо, кого можно привлечь к юридической ответственности.
На мой взгляд, ИИ-агентам следует говорить, что им можно делать, а не только что им нельзя, и всё, что компании, разрабатывающие ИИ, отправляют в реальный мир, должно быть предварительно проверено. Пока эти меры предосторожности не станут стандартом, любая публичная онлайн-форма — от полицейской линии наводок до заявления на пособие — может получать написанные ИИ заявки, лишённые интуиции и здравого смысла. Их ошибки могут, например, лишить ресурсов реальные чрезвычайные ситуации или отказать человеку в пособии, на которое он имеет право. Тем временем пострадавшие от этого вреда могут столкнуться с трудностями при получении компенсации из-за неясности в вопросе о том, кто контролировал ИИ-агента.
Источники: отчёт Anthropic (9 октября 2026 г.), полицейское управление Филадельфии, AP Photo/Yuki Iwamura.
Ваш комментарий