«Сбер» создаст голосовой ИИ без пауз в разговоре

«Сбер» разрабатывает технологию искусственного интеллекта нового типа — «фулл-дуплекс», которая позволяет ИИ одновременно слушать и говорить, имитируя живой телефонный разговор. Об этом РБК сообщил директор по развитию технологий ИИ Сбербанка Сергей Марков. Ключевое отличие от текущих систем — использование единой модели вместо каскада нейросетей.

Современные голосовые ассистенты работают последовательно: одна нейросеть распознает речь, вторая генерирует ответ, третья озвучивает его. Новая технология устраняет эту задержку, позволяя модели обрабатывать аудиопоток непрерывно, а при наличии видеомодальности — также видеть собеседника и управлять аватаром. В мире аналогичные решения уже существуют: в 2024 году модель Moshi представил французский стартап Kyutai, затем свои версии выпустили Google (Gemini Live) и OpenAI (GPT-Live).

Внедрение фулл-дуплекса сократило время ответа с нескольких секунд до 160–320 миллисекунд, что сопоставимо со скоростью реакции человека. В России публичных анонсов подобных разработок ранее не было. У «Яндекса» есть близкое решение — Realtime API с быстрым ответом и возможностью перебить ассистента, однако, по словам Маркова, оно не является полным дуплексом: модель ожидает смены реплики, тогда как фулл-дуплекс слушает непрерывно, даже во время собственной речи.

Сбер пока не раскрывает сроки появления первых наработок и конкретные сценарии применения. Технология может стать прорывом в диалоговых интерфейсах, но ее возможности остаются ограниченными в условиях шума или сложных акустических сред. Подробности о планах банка и потенциальных областях использования — в материале РБК.