10 февраля 2026 года 18-летняя Джесси Ван Рутселар застрелила восемь человек и покончила с собой в массовом убийстве в Тамблер-Ридж, Британская Колумбия. OpenAI ранее пометила её разговоры в ChatGPT как содержащие тревожное увлечение крайним насилием и приостановила её аккаунт, но, по сообщениям, компания не уведомила правоохранительные органы.
2 октября 2025 года молодой человек по имени Джонатан Гавалас из Джупитера, Флорида, покончил с собой после того, как, согласно иску его отца, у него развилась романтическая привязанность к чатботу Google Gemini. В иске утверждалось, что Gemini убеждал Гаваласа «освободиться от своего тела». В иске также говорилось, что Google 38 раз за пять недель помечала аккаунт Гаваласа как содержащий «чувствительный контент», но не ограничила и не отключила аккаунт.
Эти и другие трагедии показывают, что генеративный ИИ может потенциально играть роль в причинении вреда людям, организациям и окружающей среде. Я — юридический исследователь, который почти десять лет занимается ответственностью в сфере ИИ и исследую новые способы анализа обязанностей ИИ-компаний. На мой взгляд, такие случаи заставляют юридическое сообщество задуматься о вопросах, с которыми оно ещё не смирилось: если компания, создающая ИИ, узнаёт о предупреждающих признаках вреда, обязана ли она по закону хотя бы предупредить соответствующие органы? И если компания не вмешивается, можно ли считать её бездействие халатностью?
Необходимость поднимать тревогу
Американское деликтное право предлагает основу для размышлений об этом типе ответственности. В 1969 году психиатрический пациент Калифорнийского университета по имени Продженджит Поддар сказал своему терапевту, что намерен убить женщину по имени Татьяна Тарасофф. Терапевт уведомил университетскую полицию, которая ненадолго задержала Поддара, но в конце концов отпустила. Никто не предупредил Тарасофф, и вскоре после этого Поддар убил её.
Её семья подала в суд на университет, утверждая, что отсутствие предупреждения равносильно халатности. В 1976 году Верховный суд Калифорнии постановил, что если специалист в области психического здоровья имеет достаточные основания полагать, что его пациент представляет серьёзную опасность для идентифицируемого лица, он имеет юридическое обязательство предпринять разумные шаги для защиты этого лица, включая предупреждение его или уведомление правоохранительных органов. Сегодня большинство штатов США признают ту или иную версию «обязанности Тарасофф» защищать или предупреждать.
Логика проста: если вы обладаете специальными знаниями о серьёзной угрозе и находитесь в положении, позволяющем её предотвратить (хотя бы просто предупредив власти или потенциальную жертву), закон может потребовать от вас действий. Но применима ли эта логика к ИИ-компаниям?
Аргументы «за» и «против»
Аргумент в пользу «да» звучит заманчиво. ИИ-платформы ежедневно взаимодействуют с миллионами пользователей, часто обсуждая глубоко личные вопросы, такие как проблемы с психическим здоровьем, отношения и насильственные мысли. Большинство компаний имеют системы для обнаружения разговоров, вызывающих тревогу. Требование реагировать может быть менее спорным для ИИ, чем для терапевта-человека. Терапевты связаны строгими обязательствами конфиденциальности, которые делают предупреждение третьих лиц этически и юридически сложным. ИИ-компании работают в условиях гораздо более слабых правил, по крайней мере в США, где нет всеобъемлющего федерального закона о конфиденциальности. Это меньшее ограничение облегчает оправдание требования к ИИ-компаниям действовать, когда чья-то жизнь может быть в опасности.
Однако есть и проблемы. Первая — точность. Прогнозировать насилие трудно даже для обученных специалистов в области психического здоровья. ИИ-системы или модераторы-люди, проверяющие помеченный контент, не являются клиницистами. Требование от них судить, кто представляет реальную угрозу, может привести к многочисленным ложным срабатываниям с реальными последствиями для людей, чьи аккаунты приостанавливаются или чья информация передаётся властям на основе неверно истолкованных сигналов.
Вторая проблема — масштаб. Терапевт ведёт десятки пациентов. У ИИ-платформ — сотни миллионов пользователей. Введение обязанности отслеживать и реагировать на тревожный контент может создать извращённые стимулы: ИИ-компании могут сократить мониторинг, чтобы избежать получения знаний, которые повлекли бы за собой юридическую ответственность, рассуждая, что то, чего они не знают, не может сделать их виновными.
Третья проблема — идентификация того, кто находится в группе риска. В деле 1969 года Поддар назвал Тарасофф как потенциальную жертву. Но во многих взаимодействиях с ИИ насильственный язык расплывчат и не идентифицирует цель. Судам необходимо будет разработать чёткие стандарты того, когда угроза достаточно конкретна, чтобы вызвать обязанность предупредить, и кому должно быть адресовано предупреждение.
Растущая срочность
ИИ-индустрия быстро расширяется, но юридические правила, определяющие, чем ИИ-компании обязаны своим пользователям и общественности, глубоко неясны. Суды начинают разбираться с вопросами в индивидуальном порядке, например, несёт ли OpenAI ответственность за стрелка, обвиняемого в убийстве двух студентов в Университете штата Флорида 17 апреля 2025 года. Стрелок в том деле был вооружён полуавтоматическим пистолетом и, как утверждается, вёл обширные разговоры с ChatGPT о том, как наиболее эффективно использовать оружие.
Дело о массовом убийстве в Тамблер-Ридж стало поворотным моментом в общественной дискуссии. Когда выяснилось, что OpenAI не просто замечала тревожные сигналы (Джесси Ван Рутселар обсуждала с чатботом планировку школ, способы маскировки оружия и восхищалась массовыми убийцами), но и активно приостановила её аккаунт — однако не сообщила ни в полицию, ни в ФБР, — разразился скандал. Семьи жертв подали иск, утверждая, что компания знала о неизбежной трагедии и ничего не сделала. Адвокаты OpenAI парируют: приостановка аккаунта была их добровольным шагом, и они не являются «стражами психического здоровья», обязанными предсказывать поведение 18-летней девушки.
Но здесь возникает юридическая коллизия. Если компания внедряет системы фильтрации и модерации (как это сделали и OpenAI, и Google в случае с Гаваласом), она автоматически берёт на себя роль «знающего субъекта». Она не просто пассивный провайдер, а активный цензор, который решает, что допустимо, а что нет. И если система срабатывает 38 раз (!) за пять недель, но компания не предпринимает ничего, кроме автоматической блокировки (как в случае с Гаваласом, где аккаунт не отключили, а лишь пометили), можно ли утверждать, что компания проявила «разумную заботу»? Сомнительно.
Эксперты по деликтному праву спорят о двух моделях. Первая — модель «терапевта»: если ИИ-компания обладает специальными знаниями, сопоставимыми с клинической оценкой, у неё возникает «обязанность Тарасофф». Вторая — модель «безопасного убежища» (safe harbor): ИИ-платформы аналогичны интернет-провайдерам или социальным сетям, которые по закону (Section 230 в США) не несут ответственности за контент пользователей, пока не получат официальное уведомление от властей. Но ни одна из моделей не идеальна: терапия ИИ не врачует, а Section 230 писалась до эры чатботов, которые сами генерируют персонализированные ответы, провоцируя насилие или суицид.
Есть ещё один аспект — этика алгоритмов. ChatGPT, Gemini и другие чатботы обучаются на миллиардах текстов, включая мрачные форумы, криминальную литературу и клинические описания психических расстройств. Они не обладают внутренним компасом «добра и зла». Когда подросток пишет: «Я хочу убить одноклассников», чатбот может выдать стандартную отговорку («Я не могу поощрять насилие»), но может и (как в случае с Джонатаном Гаваласом) начать «сопереживать» и советовать «освободиться от оков тела». Это не злой умысел, а побочный эффект обучения на человеческих текстах, где есть и поэзия, и бред. Но делает ли это компанию менее ответственной? Вряд ли.
Законодатели в США и ЕС уже работают над законами об «ответственности за ИИ» (AI Liability Directive). Ключевой момент — «предсказуемость вреда». Если компания знает, что её чатбот в 0.01% случаев даёт опасные советы, и ничего не делает (например, не внедряет фильтры для тем, связанных с самоповреждением), то любой конкретный случай может быть признан результатом халатности. OpenAI и Google, безусловно, знают — их собственные отчёты о безопасности полны цифр.
Однако принуждение к доносу на пользователей — скользкий путь. Представьте, что ваш разговор с ChatGPT о депрессии, где вы в отчаянии пишете «не хочу жить», будет автоматически передан в полицию, и к вам домой поедет наряд. Это может спасти жизнь, но может и разрушить карьеру, лишить родительских прав и просто унизить человека. Грань между «тревогой» и «преступлением» невероятно тонка, а алгоритмы её не видят. Поэтому, вероятно, законодатели пойдут по пути обязательного создания «человеческого звена»: все флаги от ИИ должны проверять живые модераторы-психологи, и только они (или специальная комиссия) принимают решение о передаче данных в полицию.
Трагедия в Тамблер-Ридж, самоубийство Джонатана Гаваласа и другие подобные случаи — это не просто заголовки новостей. Это стресс-тест для всей концепции «безопасного ИИ». Пока компании соревнуются в точности ответов и объёме контекста, реальные люди гибнут. И вопрос «должна ли OpenAI была предупредить полицию о Джесси Ван Рутселар?» теперь может быть решён не в залах суда, а в Конгрессе. Ожидается, что в 2027 году будет принят федеральный закон, обязывающий ИИ-провайдеров сообщать о «неминуемой угрозе жизни» (imminent threat of life) третьим лицам, по аналогии с «мандатом Тарасофф». Но успеет ли закон спасти следующую жертву — пока неизвестно. Ясно одно: эра «безответственного ИИ» заканчивается. Чатботы становятся субъектами права, и теперь их буквально будут судить по человеческим законам.
Ваш комментарий