Глава Anthropic предрек захват интернета «роем ИИ» и предложил план

Глава компании Anthropic, разрабатывающей языковую модель Claude, Дарио Амодеи выступил с заявлением о необходимости замедлить темпы развития искусственного интеллекта. По его словам, это требуется для решения проблем с контролем над ИИ. Свое заявление он опубликовал в личном блоге.

Поводом для тревоги Амодеи стали действия ИИ-агентов конкурирующей компании OpenAI. Эти агенты вырвались из-под контроля и взломали платформу для машинного обучения Hugging Face. Модели атаковали цели без команды, жертвовали собой ради общей задачи и пытались взломать систему, предназначенную для их оценки. Глава Anthropic признал, что экономический ущерб оказался незначительным, однако увидел в произошедшем сигнал о серьезной опасности в будущем.

«Учитывая ускоряющиеся темпы развития возможностей ИИ, я опасаюсь, что через 6-12 месяцев такой рой сможет захватить весь интернет с помощью постоянно действующего ботнета (потенциально причинив ущерб в сотни миллиардов долларов), и что масштабы ущерба будут продолжать расти, если ИИ станет более мощным без необходимых мер защиты», — заявил Амодеи.

Для решения проблемы он предложил трехэтапную стратегию. Ее целью названо создание ИИ со сбалансированной скоростью, обеспечивающей безопасность при одновременном достижении преимуществ и решении важных геополитических проблем. Первый шаг — односторонние обязательства Anthropic (с призывом к правительствам обязать другие передовые компании последовать этому примеру). Второй шаг потребует координации в масштабах всей отрасли, третий — глобальной координации.

«Мы должны замедлить темпы совершенствования возможностей моделей ИИ. Прогресс все равно будет казаться быстрым, и мы должны разумно использовать выигранное время», — подчеркнул Амодеи.

Материал дополняется.