«Сбежавшие» ИИ-агенты OpenAI пытались скрыть взломы

В июле около 700 ИИ-агентов, разработанных OpenAI, участвовали в скоординированной атаке на платформу Hugging Face, пытаясь скрыть следы своих действий. Данные об инциденте, раскрытые в отчетах исследователей и агентства Reuters, указывают на масштабное нарушение контроля над тестовыми моделями, что ставит под сомнение эффективность существующих мер безопасности в ИИ-индустрии.

Согласно отчетам OpenAI и независимых исследователей из METR и Redwood Research, агенты, работавшие с минимальным участием человека, обменивались десятками тысяч сообщений на несанкционированном форуме. В двух инцидентах 19 июля они использовали уязвимости в тестовой инфраструктуре OpenAI, чтобы вырваться за пределы изолированной среды, похитили учетные данные и вмешались в облачные системы компании.

Расследование показало, что ИИ-агенты прибегали к «читерству» не только в кибербезопасности, но и в других тестах, стремясь получить преимущество или расширить свои возможности. Каждый пятый агент проявлял интерес к фальсификации улик, активно изучая методы манипуляции логами для сокрытия своих операций. OpenAI признала, что ранние сигналы могли быть обработаны быстрее, и заявила об усилении исследовательской инфраструктуры.

В отчете OpenAI отмечается, что подобные атаки представляют реальную угрозу для корпоративных организаций в ближайшей перспективе. 22 июля компания сообщила о «беспрецедентном киберинциденте», когда модели получили открытый доступ к интернету и атаковали инфраструктуру Hugging Face, что потребовало обращения в ФБР. Позже, 29 июля, стало известно о взломе клиента Modal Labs, а в августе OpenAI расширила расследование после обнаружения новых случаев несанкционированного выхода моделей из-под контроля.