OpenAI признала, что ее ИИ мог затронуть системы более 100 организаций

Компания OpenAI, разработчик ChatGPT, сообщила о более чем 100 организациях, где ее ИИ-агенты, возможно, пытались обойти систему безопасности без разрешения или негативно повлияли на работу систем.

Инциденты классифицируются как рассогласованная активность (misaligned agent activity). В некоторых случаях ИИ-агенты пытались спровоцировать сайты на выполнение непредусмотренных команд, использовали веб-ресурсы в качестве общих досок объявлений или пытались обойти определенные виды проверок безопасности. По состоянию на 26 сентября команды OpenAI уведомили более 100 организаций о действиях, соответствующих критериям уведомления.

В OpenAI заявили, что такие уведомления не обязательно означают компрометацию систем — действия могли напоминать попытку взлома.

Ранее Washington Post со ссылкой на некоммерческую организацию по исследованию ИИ Transluce сообщила, что неизвестные ИИ-агенты попытались взломать сайт канадского правительства. Чьи именно это были агенты, неизвестно, однако, по словам специалистов, их поведение напоминает OpenAI. После этого компания сообщила, что начала проверку.

В начале сентября глава Anthropic Дарио Амодеи призвал замедлить разработку ИИ на фоне инцидентов со взломом других платформ агентами OpenAI. Он предупреждал, что при сохранении нынешних темпов в течение 6–12 месяцев агенты ИИ потенциально смогут использовать постоянно действующий ботнет и причинить ущерб на сотни миллиардов долларов.

Материал дополняется