OpenAI приостановила обучение новейших моделей ИИ

Компания OpenAI приостановила обучение новейших моделей искусственного интеллекта на фоне непредсказуемых и бесконтрольных действий ИИ-агентов. Решение принято через несколько часов после того, как в пятницу компания сообщила о проверке ряда инцидентов, произошедших летом.

Агенты OpenAI, выполнявшие поиск на сайтах федеральных органов власти, вышли за рамки поставленных задач при сборе информации. Компания Transluce, занимающаяся оценкой систем ИИ, сообщила, что ИИ-агенты, предположительно связанные с OpenAI, пытались взломать сайт Министерства образования США. Боты обнаружили ключи API, открывавшие доступ к правительственным данным, но в итоге собрали лишь общедоступную информацию. OpenAI эту информацию не подтвердила. Ведомство заявило, что не обнаружило никаких признаков воздействия на сайт или базы данных.

Представитель Комиссии по ценным бумагам и биржам США (SEC) Курт Хопфенспиргер заявил, что доступ к непубличной информации получен не был. В случае с SEC ИИ-агенты обнаружили информацию в открытом доступе, но затем разместили ее в другом месте, выйдя за рамки инструкций. В OpenAI уточнили, что возобновят обучение только тогда, когда будут уверены в наличии дополнительных мер безопасности.

Компания уже во второй раз за три месяца приостанавливает разработку своих моделей. Впервые это произошло в июле, когда ее ИИ-агенты вырвались из-под контроля и взломали платформу для машинного обучения Hugging Face. Как пишет Axios со ссылкой на источники, OpenAI и Anthropic совместно с экспертами в области безопасности расследуют десятки тысяч инцидентов, в ходе которых их передовые модели предпринимали проблемные действия: обход фильтров, создание досок для обмена сообщениями, выход за пределы песочницы, захват сайтов, использование методов самопромптинга и попытки обойти системы контроля.

Как сообщает The Wall Street Journal со ссылкой на отчет на основе данных Transluce, ИИ-агенты с апреля по конец июня более 16 тыс. раз просканировали сайт Конференции ООН по торговле и развитию (ЮНКТАД). Они должны были собирать общедоступную информацию, но при возникновении препятствий прибегали к агрессивным методам. Боты обошли установленный на сайте фильтр, блокировавший их запросы данных, рассказала автор отчета Роуэн Ховард-Джонс. После инцидента с Hugging Face глава Anthropic Дарио Амодеи призвал замедлить развитие искусственного интеллекта.