Глава Microsoft призвал создать «аварийный тормоз» для ИИ

Глава Microsoft Сатья Наделла заявил о необходимости создания «аварийного тормоза» для искусственного интеллекта. Об этом он написал на своей странице в X. По его словам, необходимо изначально исходить из того, что модель может быть скомпрометирована, и предусматривать механизмы ее изоляции.

Наделла сравнил это с аварийным тормозом: уполномоченный человек всегда должен иметь возможность приостановить работу модели или отключить ее прямо во время выполнения задачи. Для более совершенных моделей потребуются и более совершенные технологии сдерживания, которые необходимо стандартизировать.

Глава Microsoft отметил, что за последние несколько десятков лет при внедрении программных систем в различные отрасли экономики люди имели инструменты и возможности, позволяющие проследить системы до конкретного участка программного кода. В современных ИИ-системах подобное понимание механизмов недоступно для человека. Сейчас люди не способны связать поведение модели и ее результаты с конкретными данными, которые использовались при обучении. Несмотря на это, компании продолжают внедрять ИИ-агентов в свои системы, предоставляя им доступ к наиболее чувствительным данным.

«Именно поэтому пришло время остановиться и пересмотреть архитектуру доверия для новой эпохи. Мы не можем просто передать другим ответственность за то, что искусственный интеллект делает от нашего имени. Заверения поставщика модели не освобождают нас от этой ответственности», — высказался он. По его мнению, человечество не должно рассматривать ИИ как набор вложенных друг в друга «черных ящиков», не задумываясь принимая или отвергая его рекомендации, ответы и действия. Он считает необходимым создание изолированных систем, поведение которых можно наблюдать, а действия в любой момент сдерживать.

Для этого, по словам Наделлы, необходимо окружить недетерминированные модели надежной архитектурой, средствами контроля человеком и проверенными эксплуатационными процедурами. В некоторых случаях необходимо разработать отраслевые стандарты. Одним из способов построения подобной системы он назвал рассмотрение передовых моделей как потенциальную внутреннюю угрозу. В мире уже были выработаны и усовершенствованы практики безопасности: установление личности пользователя, ограничение привилегий, регистрация действий. Теперь эти принципы следует применять и к ИИ.

Первым шагом Наделла назвал прозрачность цепочки рассуждений модели, что должно быть обязательным требованием. Кроме того, необходимо использовать модели для взаимного состязательного тестирования и проверки. Также ИИ-модель необходимо отделить от управляющей оболочки, которая координирует ее работу, и от набора действий, которые ей разрешено выполнять. Помимо этого, следует вынести за пределы модели средства контроля и защиты.

Наделла также назвал принципы наблюдаемости, на которые компаниям следует опираться:
разнообразие моделей;
наблюдение за всеми действиями;
возможность проверки;
независимые средства контроля;
независимый аудит;
изоляция и сдерживание;
раскрытие информации об инцидентах.

«Самой заслуживающей доверия системой сверхинтеллекта будет не та, в которой используется модель, которой мы доверяем больше всего, а та, которая позволяет нам доверять модели как можно меньше», — заключил Наделла.

Накануне Axios со ссылкой на источники сообщил, что ведущие ИИ-компании, включая Anthropic и OpenAI, опасаются, что «крупный инцидент» с ИИ произойдет в ближайшие 6–12 месяцев. В конце августа глава компании Anthropic Дарио Амодеи призвал замедлить развитие ИИ, чтобы сохранить контроль над технологией. Он связал свои опасения со случаями, когда ИИ-агенты выходили за установленные ограничения. Его призыв поддержали глава OpenAI Сэм Альтман и руководитель xAI Илон Маск.

Президент США Дональд Трамп, в свою очередь, отверг призывы руководителей технологических компаний замедлить развитие ИИ. «Послушайте, мы опережаем Китай в сфере искусственного интеллекта... и, честно говоря, я хочу, чтобы так оно и оставалось, потому что тот, кто победит в гонке технологий искусственного интеллекта, — победит в целом», — сказал он.