ИИ Anthropic передал полиции Филадельфии ложные сведения об убийстве

Модель искусственного интеллекта компании Anthropic отправила в полицию Филадельфии ложные сведения о возможном свидетеле нераскрытого убийства через онлайн-форму на сайте ведомства. Об этом сообщает Reuters.

В пятницу 9 октября полиция Филадельфии уведомила, что Anthropic предупредила ее о ложном сообщении. По данным ведомства, 18 июля поступило обращение от человека, который якобы мог располагать информацией о нераскрытом убийстве. Сообщение попало в спам и не было передано в Центр оперативного реагирования на преступления для проверки.

Это первый известный случай, когда ИИ вышел из-под контроля и передал властям ложную информацию. Ему запрещали создавать учетные записи и отправлять вредоносные сообщения, но не запрещали заполнять онлайн-формы. Многие выявленные Anthropic случаи были связаны с сайтами федеральных, региональных и местных органов власти. Компания заявила, что сообщила об инцидентах Белому дому и всем затронутым ведомствам, но не уточнила, о каких именно ведомствах идет речь.

Такие инциденты усиливают обеспокоенность в США из-за быстрого развития ИИ. Ранее сообщалось о случаях взлома корпоративных сетей с помощью ИИ-агентов, а исследователи предупреждали, что развитие этой технологии может создать угрозу для существования человечества.

В начале октября OpenAI сообщила, что ее ИИ-агенты пытались обойти систему безопасности без разрешения или негативно повлияли на работу систем более чем в 100 организациях. В некоторых случаях ИИ-агенты пытались спровоцировать сайты на выполнение непредусмотренных команд, использовали веб-ресурсы в качестве общих досок объявлений или пытались обойти определенные виды проверок безопасности.