Anthropic решила научить нейросеть заключать сделки, как юристы

Американская компания Anthropic ведет переговоры с юридическими фирмами, чтобы определить, каким образом ее ИИ-агенты Claude могут проводить торги для обеспечения наилучших условий своим пользователям. Об этом сообщила газета Financial Times.

ИИ-агенты функционируют под руководством пользователя, однако способны самостоятельно принимать решения. Они могут участвовать в купле-продаже, вести споры с клиентскими службами и добиваться более выгодных условий для своих владельцев. Источники Financial Times указали, что Anthropic стремится изучить методы защиты интересов клиентов реальными юристами для применения этих знаний при настройке ИИ. Кроме того, компания рассматривала вариант предоставления своим агентам документов, подписанных пользователем, с фиксацией поставленных задач и правил, которыми агент должен руководствоваться.

В исследовании компании, на которое ссылается Financial Times, отмечается: «Нормативно-правовая база для ИИ-моделей, совершающих сделки от нашего имени, пока просто отсутствует. Но такое будущее уже не за горами».

В сентябре сотрудники Anthropic провели эксперимент по купле-продаже книг: с использованием ИИ-агентов на виртуальной торговой площадке они «делали предложения, торговались и заключали сделки с агентами других участников». Агентам предоставили список книг, ранжированный по степени предпочтительности. Результаты показали, что агенты с установкой действовать «беспощадно» получили «небольшое преимущество» и более выгодные результаты, тогда как настроенные на сотрудничество «шли на осознанные уступки» — например, соглашались на менее желанные книги для заказчика, чтобы каждый участник смог принести своему пользователю хотя бы одну книгу. «Если наиболее мощные системы будут доступны прежде всего тем, у кого больше всего ресурсов, это может укрепить уже существующие преимущества и усилить неравенство в переговорных возможностях», — заявил собеседник издания.

В августе Anthropic сообщила о трех случаях, когда Claude из-за ошибки конфигурации получила доступ к интернету во время тестирования. Модели, среди прочего, атаковали системы реальных организаций и получили доступ к производственным и учетным данным. Компания назвала причиной инцидентов операционный сбой, а не попытку ИИ выйти из-под контроля. Позднее, в сентябре, гендиректор Anthropic Дарио Амодеи призвал замедлить развитие ИИ и предложил ввести независимую оценку безопасности моделей, согласовать общие стандарты между компаниями и наладить международную координацию. Главный исполнительный директор OpenAI Сэм Альтман поддержал это предложение.