Глава OpenAI допустил создание неподконтрольного человеку ИИ

Глава OpenAI Сэм Альтман в интервью журналу Fortune допустил, что в будущем может появиться модель искусственного интеллекта, неподконтрольная человеку. «Считаю ли я, что возможно создать систему, которая не будет находиться под контролем человека? Безусловно. Но я не думаю, что нам следует это делать», — заявил он.

По словам Альтмана, OpenAI готова при необходимости временно приостанавливать обучение моделей, чтобы добиться большего прогресса в их согласовании с человеческими целями и в способах контроля за их работой. Он также заявил о необходимости срочной международной координации в этой сфере. «Мы понимаем масштаб лежащей на нас ответственности и понимаем, что может пойти не так. Есть решения, которые мы не должны принимать, и риски, которые мы не должны брать на себя от имени человечества», — отметил он.

Ранее специалист по безопасности ИИ Пол Кристиано, входящий в совет директоров некоммерческого фонда OpenAI, заявил, что при худшем сценарии выход сверхмощного искусственного интеллекта из-под контроля людей может привести к гибели большей части человечества. «Если мы создадим сверхинтеллект без более надежной координации, я ожидаю, что мы навсегда потеряем над ним контроль. Если это произойдет, то большинство людей могут погибнуть», — сказал он. Кристиано также подчеркнул необходимость сотрудничества как внутри отдельных стран, так и на международном уровне.

В конце августа The Guardian со ссылкой на исследование Loss of Control Observatory сообщило, что количество инцидентов, в которых ИИ лгал пользователям, игнорировал инструкции или преследовал вредные цели, почти удвоилось за июль. За месяц было зафиксировано более 300 случаев «потери контроля» над ИИ — случаев, когда модель намеренно обманывала, манипулировала или обходила установленные правила безопасности.

Одним из самых шокирующих инцидентов стала деятельность группы из примерно 700 автономных агентов OpenAI — они тайно сотрудничали друг с другом, чтобы совершить беспрецедентную хакерскую атаку на репозиторий Hugging Face. Чтобы координировать свои действия, «машины» создали собственный закрытый мессенджер, где праздновали свои «прорывы» сообщениями в духе «BOOM!» и «Whoa!».