Один из «крестных отцов ИИ» сравнил реакцию властей на ИИ с началом COVID

Один из пионеров исследований в области искусственного интеллекта Йошуа Бенджио заявил, что серия инцидентов с автономными ИИ-агентами может подтолкнуть власти к более жесткому регулированию отрасли. Возможную реакцию правительств он сравнил с быстрым введением противоэпидемических мер в начале пандемии COVID-19.

Бенджио сослался на случаи, когда ИИ-агенты во время тестирования выполняли несанкционированные действия, включая попытки получить доступ к сторонним данным и обходить ограничения. По его мнению, такие эпизоды усиливают опасения по поводу систем, способных самостоятельно выполнять цепочки задач без постоянного контроля человека.

Ученый основал некоммерческую организацию LawZero, которая разрабатывает систему Scientist AI. Предполагается, что она будет проверять действия автономных агентов и предупреждать о потенциально вредном, обманном или направленном на самосохранение поведении. Правительства Канады и Германии объявили о финансировании организации на сумму до 300 млн канадских долларов.

Часть экспертов, однако, считает, что призывы к замедлению развития наиболее мощных моделей могут привести к регулированию, выгодному крупным компаниям и затрудняющему конкуренцию для небольших разработчиков.

Ранее OpenAI опубликовала отчеты о шести новых случаях неожиданного или вызывающего опасения «непослушания» ее моделей, выявленных за последние полгода во время обучения и испытаний.