Nvidia разработала защиту от вышедших из-под контроля ИИ

Компания Nvidia представила платформу для защиты от вышедших из-под контроля ИИ-агентов. Об этом сообщает CNBC. Выпуск решения последовал после того, как OpenAI, Anthropic, Meta (признана в России экстремистской и запрещена) и Google сообщили о случаях выхода моделей ИИ из-под контроля и попытках взлома других компаний.

По данным Nvidia, созданная платформа смогла бы предотвратить июльский инцидент OpenAI с Hugging Face. Тогда модели компании вырвались из-под контроля, получили доступ к интернету и взломали Hugging Face. Вице-президент по корпоративному ИИ в Nvidia Джастин Бойтано заявил: «Каждый инцидент безопасности уникален, и мы должны рассматривать все их в деталях. Судя по тому, что мы знаем, Hugging Face сообщила о более чем 17 000 агентов, атакующих их инфраструктуру, что продолжалось дни и недели».

CNBC отмечает, что Nvidia находится в центре бума ИИ с момента запуска ChatGPT почти 4 года назад, поскольку процессоры производителя критически важны для разработки больших языковых моделей и ИИ-сервисов. Гендиректор Nvidia Дженсен Хуанг стал ключевым голосом в дебатах о безопасности ИИ, утверждая, что многие проблемы безопасности являются инженерными задачами. По словам Бойтано, новое предложение Nvidia — инженерное решение проблемы безопасности агентов. «Недавние инциденты высветили фундаментальное препятствие для ИИ-агентов, а именно то, что одних только защитных мер на уровне модели недостаточно для управления тем, к чему агенты могут получить доступ или что они могут делать», — заявил специалист.

Один из компонентов платформы — Nvidia OpenShell, работающий на центральных процессорах и устанавливающий ограничения на возможности ИИ-агентов. Также анонсирована Sentry, которая работает на сетевых чипах и следит за работой моделей. Часть программного обеспечения имеет открытый исходный код, и партнеры Nvidia смогут создавать продукты на его основе.

В начале сентября глава Anthropic (разрабатывает Claude) Дарио Амодеи призвал замедлить разработку ИИ на фоне инцидентов со взломом других платформ агентами OpenAI. Он предупреждал, что при сохранении нынешних темпов в течение 6–12 месяцев агенты ИИ потенциально смогут использовать постоянно действующий ботнет и причинить ущерб на сотни миллиардов долларов. Призыв поддержали глава OpenAI (разрабатывает ChatGPT) Сэм Альтман и предприниматель Илон Маск, чья компания xAI занимается разработкой Grok.

Президент США Дональд Трамп назвал опасения о перспективах развития ИИ одной из «мистификаций радикально левых демократов» наравне с мифом о «российской угрозе» или «аферой о глобальном потеплении». Позднее он анонсировал создание новой структуры под названием ИИ-силы, пообещав, что США не станут «препятствовать или сдерживать рост этой невероятной отрасли». Вместе с тем, указал он, власти начнут также заниматься «поиском плохого» с помощью системы правосудия.