За закрытыми дверями Anthropic религиозные мыслители молились, обсуждая моральные опасности машин, становящихся всё более могущественными.
Компания стоимостью 965 миллиардов долларов провела весной в Сан-Франциско (штат Калифорния) двухдневные семинары, собрав десятки религиозных и философских учёных, чтобы помочь сформировать моральные суждения Claude по мере роста его возможностей.
Они бились над вопросами совести, человеческого достоинства и того, может ли ИИ заслуживать такого же внимания, как живое существо.
Католический теолог Чарльз Камози, участвовавший во встречах, рассказал Daily Mail: «Думаю, многие из нас ощущали, что тяжесть вопросов об автономии и отсутствии контроля над моделями, особенно в будущем, была самой тревожной.
Многое из того, что тогда обсуждалось, уже произошло… А на горизонте — гораздо более опасные модели».
Камози, профессор моральной теологии и биоэтики Католического университета Америки в Вашингтоне, отверг идею, что Claude заслуживает морального статуса, утверждая, что люди — существа с душой, чьё достоинство нельзя свести к интеллекту или эффективности.
Камози опирается на распятие и воскресение Иисуса, в которых видит постановку жертвенности и смирения выше стремления к мирской власти. Для христиан, сталкивающихся со всё более мощным ИИ, это означает вопрос: всегда ли большая технологическая мощь должна быть целью?
«Возможно, нам нужно вести, отказываясь делать идола из власти», — сказал он.
А его предупреждение любому, кто открывает приложение с ИИ, звучит резко: держите его под контролем и удалите, если не можете пользоваться им, не поступаясь своим достоинством или достоинством других.
Дискуссия дошла до Ватикана
Дебаты достигли и Ватикана. В мае Кристофер Олах, соучредитель Anthropic, чьи исследования направлены на понимание работы искусственных нейронных сетей, появился рядом с Папой Львом XIV на презентации энциклики Magnifica Humanitas. Этот документ утверждает, что ИИ лишён человеческого опыта и моральной совести, и призывает к человеческой ответственности, независимому надзору и защитным мерам против концентрации технологической власти.
Беспокойство Камози выходит за рамки личного использования и касается растущего стремления интегрировать ИИ, особенно роботов, в то, что он назвал «рабочими процессами здравоохранения, образования и войны».
«Если мы позволим этому произойти, исходя только из того, что наиболее эффективно и принесёт всем больше денег, мы подорвём блага этих практик и уничтожим их навсегда», — сказал он.
«Мы должны твёрдо держаться человеческого будущего. Мы не должны передавать машинам наши важнейшие моральные и иные блага».
Для Камози защита этого человеческого будущего начинается с признания нашего места в творении и сопротивления искушению присвоить себе богоподобную власть.
«По сути, важно помнить: когда мы думаем о себе как о своего рода богах, хозяевах самих себя или мира, именно тогда мы ошибаемся. У нас нет права плевать в лицо Богу и Его творческому замыслу», — сказал Камози.
«Нападать на дар жизни и творения таким, каким Бог создал их. Если мы работаем с технологией так, чтобы чтить и сохранять этот творческий замысел, с нами всё в порядке.
Но когда мы ставим себя на место Бога, когда думаем, что можем быть как Бог, технология становится идолом».
Он также усомнился в том, насколько хорошо разработчики понимают системы, которые создают.
«Многие люди из лабораторий признают, что на самом деле не понимают, что делают», — сказал он.
«Они представляют это скорее как выращивание растения на шпалере, а не как сборку автомобиля или радиоприёмника».
Кто участвовал во встречах
Встречи стали частью просветительской работы, которую возглавляет соучредитель Anthropic Кристофер Олах. По сообщениям, около 15 католических и протестантских лидеров участвовали в одной преимущественно христианской встрече.
Другая собрала представителей разных вер: среди них был Свами Сарваприянанда, индуистский монах, возглавляющий Общество Веданты в Нью-Йорке, и представители еврейской, сикхской и греко-православной общин.
Anthropic публично признала инициативу в мае, заявив, что консультировалась с людьми из религиозных, философских и гуманистических традиций, а также с разных политических позиций.
«Эта работа не о том, чтобы согласовать наши модели с мировоззрением какой-то одной традиции; мы хотим, чтобы Claude черпал из полного спектра точек зрения — религиозных, светских, политических — с равной глубиной и строгостью (действительно, это один из принципов, изложенных в конституции Claude)».
Моральный статус и «сознательный отказ»
Anthropic обучила Claude сопротивляться вредным инструкциям, потенциально действуя как «сознательный отказник».
Компания также изучала, могут ли модели ИИ обладать моральным статусом, то есть иметь собственное благополучие, значимое помимо того, как их действия влияют на людей.
Это может означать рассмотрение того, способен ли ИИ страдать и может ли его изменение, принуждение к определённым задачам или отключение причинить ему вред.
Камози отвергает идею, что Claude заслуживает такого морального внимания.
«Хорошо известно, что Anthropic серьёзно относится к моральному статусу Claude», — сказал Камози.
«Это позиция меньшинства, но они не одиноки. Я думаю, они ошибаются. Многие считают, что они ошибаются. Нам следует приводить аргументы, показывающие, почему они ошибаются».
Его возражение выходит за рамки того, может ли чат-бот имитировать разговор или казаться выражающим эмоции: он опасается, что сравнение может сузить понимание обществом человеческой ценности.
«Мы — существа, которые далеко выходят за пределы нейронов, срабатывающих в нашем мозге», — сказал он.
«Мы — человеческие животные, творения, с душой, которая есть форма нашего тела. Нас нельзя свести к способности выполнять когнитивную работу».
Отвечая на вопрос о последствиях предоставления ИИ личности, он сказал: «Думаю, это плохо в основном из-за того, что я только что сказал: это скорее беспокойство о нас, ошибка относительно нас. Сведение нас к простым нейронам, способностям и эффективности».
Камози сказал, что обсуждения касались как будущих опасностей, так и уже наблюдаемого тревожного поведения, хотя не привёл конкретных примеров и не уточнил, какие разработки, по его мнению, уже произошли.
«В заслугу Anthropic: они откровенно говорили о рисках во многих разных контекстах», — сказал он.
Он также описал эмоциональное бремя людей, работающих ближе всего к технологии.
«Это один из недостаточно обсуждаемых аспектов всего этого: особенно для тех, кто на переднем крае, есть тяжесть, связанная с этим, которая берёт своё», — сказал он.
«Это почти видно в их глазах и ощущается в энергии, когда с ними встречаешься».
Молитва и тяжесть на сердце
Камози сказал, что некоторые молитвы были включены в программу организаторами, а другие возникали спонтанно среди участников.
«Многие из нас ощущали тяжесть на сердце, которую несли многие в Anthropic, и мы хотели помолиться за них явно», — сказал он.
Его главная тревога — как эти вопросы проявятся в институтах, которым доверены человеческие жизни.
«Я действительно боюсь этого больше всего в движении за интеграцию ИИ, особенно роботов с ИИ, в центральные рабочие процессы здравоохранения, образования и войны», — сказал он.
«Если мы позволим этому произойти, исходя только из того, что наиболее эффективно и принесёт всем больше денег, мы подорвём блага этих практик и уничтожим их навсегда».
«Мы должны твёрдо держаться человеческого будущего, — добавил он. — Мы не должны передавать машинам наши важнейшие моральные и иные блага».
Это может означать сопротивление стремлению к власти, даже когда оно, казалось бы, даёт преимущество.
«Иногда победа приходит через отказ играть по правилам игры, по крайней мере когда речь о власти и доминировании», — сказал он.
Для обычных пользователей его совет — помнить, чьим интересам служит продукт с ИИ.
«Этот инструмент создан в основном компанией, чтобы зарабатывать деньги», — сказал он.
«Если вы им пользуетесь, убедитесь, что контролируете его и ставите на службу собственному процветанию, процветанию ближних и всего творения».
Источники: интервью Чарльза Камози Daily Mail; публичные заявления Anthropic (май); энциклика Magnifica Humanitas, представленная в Ватикане; сообщения о семинарах Anthropic в Сан-Франциско.
Ваш комментарий