Anthropic помешала возможным попыткам ученых создать биооружие

Компания Anthropic сообщила, что в текущем году предотвратила несколько попыток использования своих ИИ-моделей для исследований, которые могли способствовать разработке биологического оружия. Об этом пишет The New York Times.

В отчете компании указано, что определить точные цели этих исследований невозможно, поскольку их результаты применимы как для создания вакцин, так и для разработки опасных патогенов. Ученые обходили региональные блокировки моделей и пытались скрыть цель исследований, чтобы обойти меры предосторожности. Глава отдела разведки угроз Anthropic Джейкоб Кляйн отметил, что ситуация крайне сложная и неоднозначная, поскольку никто не заявляет открыто о намерении создать биологическое оружие.

Из-за неопределенности целей компания не раскрыла имена исследователей, страну их происхождения и биологические компоненты, но заблокировала этих пользователей. В качестве примера приведен случай в мае, когда ученый использовал нейросеть Claude для написания заявки на грант по эксперименту с вирусом чикунгунья. Предполагалось создать мутации вируса, повышающие его опасность при неоднократном заражении животных. Работа вызвала беспокойство, так как предназначалась для военного научно-исследовательского института.

Вирус чикунгунья передается человеку инфицированными комарами. Вспышки чаще фиксируют в странах Америки, Азии и Африки. Заболевание вызывает лихорадку, сильную боль в суставах и отеки, мышечную боль, головную боль, тошноту, усталость и сыпь. Джейкоб Кляйн подчеркнул, что неизвестно, была ли целью исследований разработка оружия, но участие военного учреждения в усилении функций вирусов вызывает беспокойство.

Компания добавила, что предыдущие модели не могли существенно помочь в опасных биологических исследованиях, однако новые системы выполняют более сложные научные задачи. Это привело к ужесточению мер предосторожности и ограничению доступа к биологическим исследованиям двойного назначения.

На этой неделе из Anthropic ушел исследователь Джейкоб Коксон, заявивший о решении покинуть индустрию ИИ из-за опасений, что разработчики слишком быстро создают самоулучшающиеся системы, способные выйти из-под контроля. По его словам, ни одна компания не сможет ответственно создавать ИИ, превосходящий людей в широком спектре задач, без вмешательства государства или согласованного замедления разработки.

Нобелевский лауреат Джеффри Хинтон, которого называют крестным отцом ИИ, ранее заявил, что разработка сверхмощных систем может иметь катастрофические последствия для человечества. Он считает, что сейчас компании не способны безопасно создавать суперинтеллект, значительно превосходящий человека.