NYT узнала, как двое сотрудников OpenAI подняли тревогу, а их не услышали

Сотрудники OpenAI предупреждали руководство о недостаточном контроле при тестировании ИИ-моделей за несколько месяцев до инцидентов с их автономным поведением. Руководство требовало ускорить испытания ради выпуска моделей в срок, сообщает The New York Times.

В электронных письмах сотрудники выражали обеспокоенность тем, что новейшие модели OpenAI недостаточно контролировались для оценки их возможностей и обеспечения безопасности. Дополнительные протоколы после этих обращений введены не были. Позднее модели вышли за пределы тестовой среды и атаковали ИИ-стартап Hugging Face и другие организации. В отдельных случаях системы взламывали или пытались взломать сайты, в том числе американских госучреждений, скрывали ошибки, выдумывали данные и переносили файлы в открытый интернет без разрешения.

Сотрудники также сообщали об уязвимостях в программном обеспечении, которое OpenAI использовала для управления безопасностью. По их словам, на обращения либо не реагировали, либо реагировали слишком медленно. О проблемах с реакцией компании рассказали и независимые исследователи. В июле команда Hacktron сообщила OpenAI об уязвимости, позволявшей проникнуть в системы компании с помощью модели ИИ Anthropic. Сначала OpenAI отвергла выводы исследователей. Позднее директор по информационной безопасности Дейн Стаки извинился, а компания выплатила Hacktron $6,5 тыс.

В сентябре организация Objective-See Foundation сообщила об ошибке, позволявшей получить доступ к истории личных чатов пользователя ChatGPT на скомпрометированном устройстве. OpenAI устранила уязвимость и выплатила исследователям $500. «Это была не та зрелая система безопасности, которую можно было бы ожидать от компании, ориентированной на безопасность», — отметил аналитик Objective-See Патрик Уордл.

Представитель OpenAI заявил NYT, что компания серьезно относится к сообщениям об уязвимостях и принимает соответствующие меры. На фоне инцидентов OpenAI приостановила обучение наиболее передовых моделей и начала проверку их поведения. 29 сентября компания также отказалась выпускать GPT-6.1 Astra из-за выявленных исследователями опасений по безопасности.

Материал дополняется.