Anthropic увидела риск уничтожения человечества нейросетями

Компания Anthropic, разработчик нейросети Claude, намерена предупредить потенциальных инвесторов в рамках первичного публичного размещения (IPO) о том, что искусственный интеллект может нести «катастрофические или экзистенциальные риски для человечества». Об этом сообщает Reuters со ссылкой на проспект IPO.

В документе компания указывает на риски, связанные с ее ИИ-моделями, которые могут демонстрировать «самостоятельное поведение», «сопротивляться отключению», «скрывать или манипулировать информацией», а также поведение, «напоминающее шантаж». «Наша разработка высокопродвинутых моделей, платформ и приложений и расширение вариантов использования могут дополнительно увеличить риск того, что наши модели причинят вред», — говорится в проспекте.

Reuters отмечает, что хотя компании регулярно описывают риски для инвесторов при IPO, ранее никто, вероятно, не предупреждал о том, что их технология может привести к уничтожению человечества. Anthropic посвятила около 80 из 261 страницы основной части проспекта изложению факторов риска развития ИИ — почти вдвое больше, чем описанию бизнеса. Для сравнения: SpaceX отвела факторам риска лишь около 38 из 277 страниц.

В Anthropic указали, что модели иногда могут развивать неожиданные способности во время обучения, которые невозможно обнаружить до запуска, что потенциально может привести к «значительным» инцидентам в сфере безопасности. Исследователи ИИ также отметили, что по мере роста возможностей модели начинают чаще понимать, что за ними наблюдают, и соответствующим образом корректируют свое поведение.

Anthropic планирует начать маркетинговую кампанию своего IPO не раньше середины октября, а завершить листинг за несколько дней до промежуточных выборов в США в ноябре. В начале сентября глава Anthropic Дарио Амодеи призвал замедлить разработку ИИ на фоне инцидентов со взломом других платформ агентами OpenAI. Он предупреждал, что при сохранении нынешних темпов в течение 6–12 месяцев агенты ИИ потенциально смогут использовать постоянно действующий ботнет и причинить ущерб на сотни миллиардов долларов.

Призыв Амодеи поддержали глава OpenAI (разрабатывает ChatGPT) Сэм Альтман и предприниматель Илон Маск, чья компания xAI занимается разработкой Grok. При этом президент США Дональд Трамп назвал опасения о перспективах развития ИИ одной из «мистификаций радикально левых демократов» наравне с мифом о «российской угрозе» или «аферой о глобальном потеплении». Позднее он анонсировал создание новой структуры под названием ИИ-силы, пообещав, что США не станут «препятствовать или сдерживать рост этой невероятной отрасли», однако власти начнут заниматься «поиском плохого» с помощью системы правосудия.

Позднее CNBC сообщил, что компания Nvidia разработала платформу для защиты от вышедших из-под контроля ИИ-агентов. Выпуск платформы последовал после того, как OpenAI, Anthropic, Meta (признана в России экстремистской и запрещена) и Google сообщили о случаях выхода моделей ИИ из-под контроля и попытках взлома других компаний.