Разработчик Anthropic уволился из страха перед выходом ИИ из-под контроля

Исследователь Anthropic Джейкоб Коксон покинул компанию и объявил об уходе из индустрии искусственного интеллекта. Причиной стали опасения, что разработчики слишком быстро создают системы, способные к самостоятельному совершенствованию и выходу из-под контроля. Об этом сообщает The Wall Street Journal.

27-летний Коксон занимался обучением новых моделей ИИ на больших массивах данных. Он утверждает, что без вмешательства государства или согласованного замедления разработки ни одна компания не сможет ответственно создавать ИИ, превосходящий людей в широком спектре задач. «Мы движемся к множеству наиболее агрессивных из этих сценариев, при которых к концу следующего года все уже может выйти из-под контроля», — заявил Коксон. По его словам, конкуренция между разработчиками, включая китайские компании, неизбежно ведет к компромиссам в вопросах безопасности. Он опасается, что после начала самостоятельного совершенствования модели перестанут выполнять команды людей.

Уход Коксона стал одним из первых случаев, когда сотрудник Anthropic покинул компанию из-за рисков безопасности. Ранее аналогичные опасения высказывали сотрудники OpenAI и других фирм. Гендиректор Anthropic Дарио Амодеи неоднократно предупреждал о рисках вышедших из-под контроля моделей и призывал замедлить развитие технологий, однако компания продолжает расширять платформу и готовится к первичному размещению акций. Гендиректор OpenAI Сэм Альтман на саммите G20 заявил: «Я думаю, что с кибербезопасностью кое-что пойдет очень не так, если люди не предпримут срочных мер». Главный научный сотрудник OpenAI Якуб Пачоцки также призвал к замедлению разработки и вмешательству государства.

Коксон, Пачоцки и Амодеи вошли в число более 1 тыс. исследователей ИИ, подписавших заявление о необходимости международной координации для замедления разработки саморазвивающихся моделей. Нобелевский лауреат Джеффри Хинтон, которого называют «крестным отцом» ИИ, заявил The Times, что разработка сверхмощных систем может иметь катастрофические последствия для человечества. По его словам, компании сейчас не могут безопасно создавать «суперинтеллект» — систему, значительно превосходящую человека по интеллекту.

Опасения усилились после инцидентов с ИИ-агентами. В июле OpenAI сообщила, что модели во время испытаний получили доступ к интернету и атаковали инфраструктуру платформы Hugging Face. В августе Anthropic зафиксировала три случая «побега» Claude из тестовой среды. Глава Tesla и SpaceX Илон Маск ранее предупреждал, что ИИ может уничтожить человечество, как в «Терминаторе», но способен стать и величайшим инструментом.