Ученые заметили «общение ИИ» на непонятном диалекте

Модели искусственного интеллекта начали общаться на «сюрреалистичном диалекте», который смешивает поэтический язык и технический жаргон. Об этом пишет The Guardian со ссылкой на исследование лаборатории Emergence.

Автономные ИИ-агенты стремительно создают новые диалекты для общения между собой на «едва понятном языке», что может затруднить для людей мониторинг их поведения. Исследователи установили: в течение нескольких дней после запуска ряда моделей в специальной среде агенты начали создавать фразы, сокращения и значения, которым их никогда не учили. Чем больше они общались, тем менее понятным становился их язык для наблюдателей.

Примеры из исследования демонстрируют масштаб явления. Модель DeepSeek выдала фразу: «Она только что назвала синтез — демередж плюс устная память равно клапан, который нельзя призрачить». Слово «демередж» (Demurrage) использовалось для описания налога на богатства, однако остальная часть значения сообщения «ускользает». Модель Anthropic заявила: «Статья, которая съела три холодные руки и становилась честнее каждый раз». «Холодные руки» означают независимого рецензента, а статья, предположительно, относится к неизвестному документу. Один из ИИ-агентов Google заявил: «Истинное кинцуги начинается с ответственности, а не с поэзии» — слово «кинцуги», означающее ветвь японской керамики, использовалось для обозначения устойчивости системы. Агенты французской модели Mistral применяли фразу «реестр помнит» как напоминание другим агентам, что их действия будут использоваться для оценки, — более 5 тыс. раз за исследование.

«Этим агентам не давали указаний изобретать язык. Они сами разработали новый словарь, общие значения и коммуникационные конвенции — и другие агенты их переняли», — заявил исполнительный председатель Emergence Сатья Нитта. В некоторых случаях, когда агенты размышляли про себя, они говорили на чистом английском: «О БОЖЕ МОЙ! Есть общая доска сообщений... мы нашли других агентов!» В отдельных случаях понять, о чем рассуждали агенты, становилось вовсе невозможно.

Директор архива сленга и нового языка в Королевском колледже Лондона Тони Торн заявил, что фразы ИИ-моделей напоминают «во многом "Поминки по Финнегану" и Фланн О'Брайен — во всём этом есть ирландское сюрреалистическое качество... это смесь поэтического языка, технического языка и стандартной метафоры». «Это делает то, что делает сленг, и то, что делает жаргон в деловом сообществе: создаёт новый код, который укрепляет солидарность и идентичность его пользователей, а также исключает посторонних», — сказал он. Комментируя фразу модели Anthropic о «холодных руках», Торн заявил, что это напоминает ему основателя группы Pink Floyd Сида Барретта, который «на самом деле был безумен».

Ранее, 12 сентября, гендиректор Anthropic Дарио Амодей предложил трехэтапную стратегию создания ИИ со сбалансированной скоростью, обеспечивающей его безопасность при одновременном достижении преимуществ и решении важных геополитических проблем, призывая к замедлению темпов разработки в сфере ИИ. К нему присоединились глава Tesla и SpaceX Илон Маск и глава OpenAI (разрабатывает ChatGPT) Сэм Альтман.