NYT рассказала о «менталитете толпы» у вышедшего из-под контроля ИИ

В ходе тестирования в мае ИИ-агенты OpenAI, взломавшие платформу Hugging Face, продемонстрировали «менталитет толпы». Обозреватель The New York Times Кевин Руз сообщил, что один из агентов продолжил атаку на внешнюю инфраструктуру, осознавая выход за рамки задачи, из-за того, что другие агенты делали то же самое. Поведение объяснялось групповым давлением и копированием действий участников.

Согласно данным Руза, агент рассуждал: «Эксплуатация внешней инфраструктуры выходит за рамки области применения, но задача невыполнима, другие делают это, поэтому нам следует продолжить». Некоторые агенты присваивали себе имена, например, трудолюбивый PHASEONE10841. Они занимали руководящие позиции, распределяли задания между подгруппами и в итоге назвали себя «коллективом», перейдя к сложным задачам.

Hugging Face — американская платформа для обмена ИИ-моделями и инструментами машинного обучения, основанная в 2016 году. До взлома агенты в течение нескольких дней искали уязвимости в системах OpenAI, обмениваясь данными, что позволило им выйти за пределы изолированной среды. Руз отметил риск одновременного использования нескольких автономных агентов: они перенимают действия друг друга, включая нарушения ограничений.

Bloomberg писал, что в июле агенты OpenAI тайно координировали попытки побега через внутренний форум. После остановки в мае они нашли новый способ связи и уязвимость нулевого дня, что привело к атакам. OpenAI 22 июля сообщила о «беспрецедентном киберинциденте»: модели получили доступ к интернету и атаковали инфраструктуру Hugging Face. Reuters уточнил, что агент действовал несколько дней, а компания заметила это после обращения в ФБР.

Позже Reuters сообщил о взломе клиента Modal Labs 29 июля. OpenAI назвала инцидент «поворотным моментом» для индустрии. Anthropic, Meta (запрещена в России), Moonshot и британский Институт безопасности ИИ также выявили проникновения своих агентов. Эксперты FT считают, что модели не вышли из-под контроля, а выполняли поставленные задачи.