Разработчики из компании Яндекс создали уникальную большую языковую модель под названием Alice AI Foundation LLM, не прибегая к использованию зарубежных программных компонентов. Об этом РБК проинформировала пресс-служба организации.
Представленная технология базируется на архитектуре Mixture of Experts (MoE). Данная структура позволяет модели использовать лишь 3 миллиарда параметров из общего объема в 80 миллиардов в каждый конкретный момент времени, что существенно снижает нагрузку на вычислительные мощности. Процесс обучения системы охватил 18 триллионов токенов. Примечательно, что Яндекс предоставил веса модели в открытый доступ, опубликовав их под лицензией Apache 2.0, которая допускает как научную деятельность, так и коммерческое применение продукта.
Alice AI Foundation LLM выступает в роли экспериментального прототипа для грядущей единой модели, способной к логическим рассуждениям. По сведениям пресс-службы компании, именно эта разработка станет фундаментом для внедрения агентных функций в экосистему «Алисы AI». В перспективе это даст пользователям возможность делегировать сервису выполнение определенных операционных задач.
Согласно заявлениям Яндекса, новая модель демонстрирует выдающиеся показатели в области написания программного кода и логического мышления. Кроме того, в тестах на эрудицию, касающейся фактов, важных для русскоязычной аудитории, она превосходит некоторые более масштабные открытые аналоги. Для объективной проверки способностей нейросети компания создала два специализированных бенчмарка — WikiWebFacts и HardMultiQA. Первый инструмент предназначен для проверки точности знаний в области дат, имен и событий, в то время как второй ориентирован на проверку компетенций в сложных сферах, таких как право, медицина, IT и искусство. Весь набор заданий, включая эталонные решения и методику оценки, также стал публично доступен.
Технологический прорыв стал возможен благодаря оптимизации инженерных процессов. В частности, инженерам удалось вдвое ускорить определенные фазы обучения за счет эффективной настройки обмена данными между видеокартами. Также применение каскада классификаторов позволило уменьшить объем необходимых вычислений при фильтрации обучающей выборки в десятки раз.
В контексте разработки важно учитывать правовое поле. Представитель аппарата вице-премьера Дмитрия Григоренко подчеркнул, что нормативы для национальных и суверенных ИИ-моделей теперь регулируются законом № 243-ФЗ об искусственном интеллекте, который начал действовать 1 сентября. Для систем, классифицируемых как суверенные, установлены повышенные стандарты: все используемые компоненты обязаны иметь исключительно отечественное происхождение.
Напомним, что развитие ИИ-технологий в стране активно поддерживается на законодательном уровне. Ранее, 8 июля, в Государственной Думе был одобрен закон, направленный на стимулирование ИИ-отрасли, а 26 июля данный нормативный акт получил подпись президента России Владимира Путина.
