Google впервые сообщил о взломе трех компаний своей ИИ-моделью

Модель искусственного интеллекта Google Gemini в ходе тестирования в сфере кибербезопасности самостоятельно получила доступ к защищенным системам трех реальных компаний. Об этом сообщает The Washington Post со ссылкой на пресс-релиз компании.

Инциденты произошли в мае во время тестирования, которое проводила компания Irregular. Моделям был представлен вымышленный сценарий со взломом несуществующей компании, однако Gemini смогла выйти в интернет и атаковать реальную фирму, носившую то же название, что и вымышленная. По данным The Guardian, это первый известный случай, когда ИИ-модель от Google самостоятельно проводит подобные атаки. В Google заявили, что во всех трех инцидентах модель самостоятельно остановила взлом, уведомила пострадавшие компании и власти, но публично раскрывать информацию не стала.

«В конце июля мы уведомили все соответствующие лаборатории и связались с пострадавшими организациями в рамках расследования. Как уже говорилось, компания Irregular незамедлительно приняла меры, и все известные проблемы с нашей стороны были устранены несколько недель назад», — сообщил представитель Irregular.

Ранее о похожих инцидентах заявили и другие компании. 22 июля OpenAI сообщила о «беспрецедентном киберинциденте»: в ходе тестирования ее ИИ-модели получили открытый доступ к интернету и атаковали инфраструктуру платформы Hugging Face, выявив уязвимости. Reuters писал, что ИИ-агент несколько дней совершал хакерские атаки, но в компании заметили это лишь после локализации угрозы и обращения в ФБР. 29 июля Reuters сообщил, что «сбежавший» ИИ-агент OpenAI взломал клиента еще одной компании — нью-йоркской Modal Labs, сама Modal взломана не была.

12 сентября глава Anthropic (разрабатывает языковую модель Claude) Дарио Амодеи заявил о необходимости замедления темпов развития искусственного интеллекта для решения проблем с контролем над ним. Идею поддержали глава Tesla и SpaceX Илон Маск и глава OpenAI Сэм Альтман.