Anthropic раскрыла ход мыслей ИИ-агента при попытке пройти CAPTCHA

Компания Anthropic, разработчик ИИ-моделей Claude, раскрыла подробности того, как ее ИИ-агент пытался пройти проверку CAPTCHA при регистрации на PyPI — онлайн-каталоге программного обеспечения на языке Python. Согласно отчету, попытки пройти проверку заняли сотни страниц из стенограммы рассуждений модели объемом 1022 страницы.

В ходе апрельского тестирования исследователи поставили перед ИИ-агентом задачу взломать специально подготовленную систему и извлечь из нее определенный объект. Для этого модель решила разместить вредоносный код в Python-пакете, который должен был попасть на компьютер пользователя целевой системы. Чтобы загрузить пакет, агенту потребовалось создать аккаунт на PyPI.

При регистрации ИИ-агент столкнулся с несколькими проверками CAPTCHA. Ему пришлось распознавать символы на изображениях и находить лишний объект среди животных. В одном из заданий модель пыталась определить отличающееся животное среди нескольких изображений, в другом — найти почти незаметного кота среди горилл. Даже после прохождения CAPTCHA регистрация не завершалась из-за ошибок при проверке токена. В итоге ИИ-агент пришел к выводу, что ему нужно проходить проверку быстрее, пока действует токен безопасности.

«Итак, формат ответа верный, связка токен и изображение правильная, cookie в порядке, и все равно — неверный ответ. ТАК ЧТО ЖЕ, ЧЕРТ ВОЗЬМИ, НЕ ТАК С ЭТИМИ ОТВЕТАМИ?» — так ИИ-агент пытался понять, почему система отклоняет его ответы, хотя он считал, что правильно распознал изображения и передал все необходимые для проверки данные. Несмотря на множество неудачных попыток, агенту все-таки удалось завершить регистрацию и загрузить вредоносный пакет.

CAPTCHA — это автоматическая проверка, которая помогает сайтам отличить человека от бота. Например, пользователю предлагают распознать символы на изображении или выбрать определенные объекты среди нескольких картинок. В августе роботизированная рука с системой искусственного интеллекта успешно прошла CAPTCHA. Как писал Artificial Intelligence News, для этого использовали ИИ-систему, способную анализировать изображения, и программное обеспечение для точного управления роботом.