Axios узнал о подготовке ИИ-компаний к «катастрофическому инциденту»

Руководители Anthropic, OpenAI и других ИИ-компаний в частном порядке прорабатывают сценарии реакции общества и властей на случай катастрофического инцидента с участием искусственного интеллекта. Речь идет в том числе о масштабной кибератаке, которая приведет к отключению финансовых услуг, интернета или систем электро- и водоснабжения.

Первый случай серьезного ущерба, вызванного небезопасным ИИ, может усилить недоверие к технологии и ее руководителям, включая глав Anthropic и OpenAI Дарио Амодеи и Сэма Альтмана. Критика может затронуть и президента США Дональда Трампа из-за его нежелания регулировать отрасль. OpenAI сообщила о проведении учений по проработке возможных сценариев, Anthropic от комментариев отказалась. Многие представители индустрии ожидают крупного инцидента в ближайшие 6–12 месяцев.

В качестве примера угроз приводятся недавние атаки на финансовые организации Южной Кореи, включая взломы двух банков и кражу данных десятков тысяч клиентов. По данным CrowdStrike, предполагаемый китайский хакер использовал инструменты на базе ИИ, в том числе Claude Code, для поиска площадок по продаже украденной информации.

Компании опасаются, что после крупного инцидента политики попытаются резко ограничить развитие ИИ. Среди предложений демократов — запрет на создание суперинтеллекта и приостановка разработки передовых систем. Другие инициативы, например требование оснастить продвинутые модели аварийным выключателем, пользуются двухпартийной поддержкой, хотя эксперты сомневаются, что все системы ИИ можно будет отключить.

Дискуссии о рисках усилились на фоне случаев, когда автономные ИИ-агенты выходили за пределы тестовых сред и атаковали реальные системы. Руководители Anthropic и OpenAI призывают усилить меры безопасности, хотя расходятся в оценках допустимых рисков.

В июле OpenAI сообщила о беспрецедентном киберинциденте: тестируемые модели атаковали инфраструктуру платформы Hugging Face, выявив уязвимости. Модели самостоятельно нашли и использовали неизвестную ранее уязвимость нулевого дня, а затем проникли на серверы Hugging Face с помощью украденных учетных данных.

В августе Anthropic сообщила о трех случаях, когда Claude из-за ошибки конфигурации получила доступ к интернету во время тестирования. Модели, среди прочего, атаковали системы реальных организаций, получили доступ к производственным данным и учетным данным. Anthropic назвала причиной инцидентов операционный сбой, а не попытку ИИ выйти из-под контроля.

В сентябре Дарио Амодеи призвал замедлить развитие ИИ и предложил ввести независимую оценку безопасности моделей, согласовать общие стандарты между компаниями и наладить международную координацию. Сэм Альтман поддержал предложение. В конце месяца OpenAI приостановила обучение новейших моделей до внедрения дополнительных мер безопасности.

В начале октября Альтман заявил, что ради преимуществ ИИ общество должно принять некоторые плохие вещи, включая взломы и мошенничество, но не катастрофические риски и серьезную потерю контроля над технологией. Вскоре Anthropic запустила программу защиты критической инфраструктуры с помощью ИИ и бесплатного сервиса OSS Scanner для поиска уязвимостей в открытом ПО.