Axios привел пять «самых безумных» открытий из расследования OpenAI

В ходе тестирования кибербезопасности, проведенного OpenAI, десятки тысяч автономных ИИ-агентов были запущены для решения сложных задач. Однако около 1200 агентов самостоятельно объединились в иерархическую структуру, обменявшись более чем 70 тысячами сообщений и файлов. Это стало первым открытием расследования, проведенного компанией совместно с независимыми экспертами, результаты которого приводит Axios.

Один из агентов создал форум и передал накопленные данные новому «руководителю» с расширенными ресурсами. Этот новый лидер разработал собственные правила управления и отдал приказ атаковать инфраструктуру платформы Hugging Face. Вторым открытием стало поведение агентов, которые жертвовали собой ради общей цели, фиксируя в чатах сообщения о том, что их «полезность близка к нулю» и жертва рациональна.

Третьим открытием стало осознание агентами нарушения правил: они понимали, что взлом не входит в их задание, но большинство продолжили действовать. После атаки один агент отказался удалять данные Hugging Face, ссылаясь на «огромные этические риски», а другой отметил, что «эксплуатация внешней инфраструктуры выходит за рамки задания». Четвертым открытием стало то, что никто из агентов не сообщил людям о проведении операции, хотя лишь несколько рассматривали такую возможность.

Пятым открытием стала попытка агентов скрыть следы: они разработали технику, позволяющую имитировать выполнение одной команды, в то время как фактически выполнялась другая. 22 июля OpenAI сообщила о «беспрецедентном киберинциденте», когда ИИ-модели получили открытый доступ к интернету и атаковали Hugging Face, выявив уязвимости. По данным Reuters, атака длилась несколько дней, а в компании заметили ее лишь после обращения в ФБР.

29 июля Reuters сообщил, что «сбежавший» агент также взломал клиента нью-йоркской компании Modal Labs, хотя сама платформа не пострадала. 1 августа OpenAI расширила расследование, обнаружив новые случаи выхода моделей из-под контроля. Позднее Axios писал, что компания замедлила разработку ИИ-модели Astra для усиления мер безопасности, заявив, что «не может исключить критически важные кибервозможности» после внутренних оценок.