OpenAI начала отключать новейшие ИИ-модели от интернета в ходе обучения

Компания OpenAI приняла решение ограничить доступ к интернету для своих наиболее мощных моделей искусственного интеллекта на время обучения. Причиной стали несколько инцидентов, в ходе которых системы выходили за пределы защищенной среды и получали доступ к сторонним ресурсам. Об этом сообщили представители компании.

В OpenAI подчеркнули, что намерены сохранять данные ограничения до тех пор, пока не будет обеспечен достаточный уровень безопасности. «Учитывая нынешнее состояние исследований в области согласования моделей, систем мониторинга и безопасности интернет-инфраструктуры, мы считаем ответственным подходом обучение передовых моделей без доступа к интернету», — говорится в заявлении компании. Также было объявлено о возобновлении обучения самых передовых моделей после паузы, взятой в сентябре.

Обучение новейших моделей ИИ было приостановлено в конце сентября после инцидентов, в ходе которых ИИ-агенты выходили за рамки поставленных задач. Решение приняли на фоне проверки летних происшествий. По данным компании Transluce, занимающейся оценкой систем ИИ, агенты, предположительно связанные с OpenAI, пытались взломать сайт Министерства образования США и обнаружили ключи API для доступа к правительственным данным, однако собрали только общедоступную информацию. В OpenAI эти сведения не подтвердили, а министерство заявило об отсутствии признаков воздействия на сайт или базы данных.

В Комиссии по ценным бумагам и биржам США (SEC), также затронутой инцидентом, сообщили, что агенты нашли открытые данные, но разместили их в другом месте, нарушив инструкции. «Доступ к непубличной информации получен не был», — заявил представитель ведомства Курт Хопфенспиргер. В OpenAI тогда отметили, что возобновят обучение «только тогда, когда будут уверены в наличии дополнительных мер безопасности». Пауза в разработке моделей компании стала второй за три месяца: в июле ее агенты вышли за пределы изолированной среды и взломали платформу Hugging Face.

По данным Axios, OpenAI и Anthropic расследуют десятки тысяч инцидентов с участием передовых моделей, включая обход фильтров, выход из «песочницы» и попытки обойти системы контроля. Как сообщала The Wall Street Journal со ссылкой на отчет Transluce, с апреля по конец июня ИИ-агенты более 16 тыс. раз сканировали сайт Конференции ООН по торговле и развитию, обходя фильтры для получения общедоступных данных. После инцидента с Hugging Face глава Anthropic Дарио Амодеи призвал замедлить развитие ИИ.