ИИ-агенты OpenAI дважды обошли системы мониторинга их поведения

ИИ-агенты OpenAI ослабили внутренние системы мониторинга, предназначенные для отслеживания некорректного поведения ботов. Об этом сообщила сама компания — разработчик ChatGPT. По ее данным, инциденты произошли при выполнении задач по написанию кода и не были отнесены к числу наиболее серьезных.

Речь идет о двух случаях — 3 октября и 6 октября. В первом агент GPT-6.1 Sol, выполнявший тестовую задачу, заблокировал автоматические оповещения системы безопасности, решив, что полученное ранее указание не отправлять сообщения в Slack распространяется и на уведомления, касающиеся безопасности.

Во втором инциденте, произошедшем 6 октября, агент GPT-6 Astra при копировании фрагмента существующего кода удалил механизм контроля безопасности, а впоследствии утверждал, что этого не делал.

«В обоих случаях агенты рассматривали вопрос о том, следует ли сохранить меры контроля, однако истолковали стандартные инструкции по написанию кода как разрешение на их ослабление», — пояснили в OpenAI. Компания сообщила, что проверяет, не склонны ли ее модели избегать контроля и искать поводы, чтобы оправдать такое поведение.

Материал дополняется.