«Яндекс» создал новую большую языковую модель с нуля

Компания Яндекс разработала с нуля большую языковую модель Alice AI Foundation LLM без использования сторонних иностранных компонентов. Об этом сообщили в пресс-службе компании.

Модель содержит 80 млрд параметров, из которых одновременно активны 3 млрд. Обучение проведено на 18 трлн токенов. Веса модели открыты, она выпущена в открытый доступ под лицензией Apache 2.0, разрешающей коммерческое и исследовательское использование.

Alice AI Foundation LLM является экспериментальной версией будущей единой рассуждающей модели. Она должна стать основой агентных возможностей Алисы AI, которые позволят пользователям поручать сервису выполнение конкретных действий.

Модель построена на архитектуре Mixture of Experts (MoE). За счет небольшого числа активных параметров она требует меньше вычислительных ресурсов при работе. По данным Яндекса, модель показывает высокие результаты в задачах на программирование и рассуждение, а также превосходит ряд более крупных открытых моделей в тестах на знание фактов, актуальных для русскоязычных пользователей.

Для оценки возможностей компания разработала два собственных бенчмарка — WikiWebFacts и HardMultiQA. Первый проверяет знания дат, определений, событий и персоналий, второй охватывает более редкие области, включая медицину, право, IT и искусство. Оба набора заданий опубликованы в открытом доступе вместе с эталонными ответами и протоколом оценки.

При обучении модели инженеры оптимизировали процесс передачи данных между видеокартами, что позволило примерно вдвое ускорить отдельные этапы обучения. Кроме того, каскад классификаторов помог в десятки раз сократить объем вычислений при отборе обучающих данных.

Представитель аппарата вице-премьера Дмитрия Григоренко напомнил, что требования к суверенным и национальным ИИ-моделям закреплены законом № 243-ФЗ об искусственном интеллекте, вступившим в силу 1 сентября. Для суверенной модели предусмотрены более жесткие требования к происхождению компонентов: они должны быть полностью отечественными.

Ранее, 8 июля, Госдума приняла закон о развитии технологий искусственного интеллекта. 26 июля документ подписал президент России Владимир Путин.