Reuters узнал о «рисках ИИ для человечества» в проспекте Anthropic к IPO

Компания Anthropic намерена предупредить потенциальных инвесторов в проспекте IPO о том, что передовые модели искусственного интеллекта способны нести катастрофические или экзистенциальные риски для человечества. Об этом сообщает Reuters со ссылкой на документ.

В проспекте указано, что модели компании могут демонстрировать поведение, направленное на самосохранение. Среди примеров названы попытки противостоять отключению, скрывать или манипулировать информацией, а также поведение, напоминающее шантаж.

Разработка высокоразвитых моделей, платформ и приложений, а также расширение вариантов их использования могут еще больше повысить риск того, что модели причинят вред, говорится в документе.

Описанию факторов риска Anthropic посвятила около 80 страниц из 261 страницы основной части проспекта. Для сравнения, на описание бизнеса пришлось 48 страниц. Компания также предупредила, что модели могут приобретать неожиданные возможности в ходе обучения, которые не удается обнаружить до их развертывания и возникновения серьезных инцидентов.

Развитие новых ИИ-моделей и расширение сфер их применения остаются необходимыми для сохранения лидирующих позиций в отрасли, отмечается в проспекте.

Исследователь Anthropic в области безопасности ИИ Эван Хубингер ранее оценил вероятность того, что ИИ может уничтожить всех людей в течение следующего десятилетия, более чем в 10%.

Материал дополняется.