Яндекс выложил на платформе Hugging Face базовую версию своей нейросети под свободной лицензией. Это первый случай в мире, когда крупная компания открывает доступ к языковой модели, которая используется в настоящей поисковой системе для создания быстрых ответов прямо под строкой поиска.
В самом Поиске Яндекса с лета работает её обновлённая и специально настроенная версия. По данным компании, сервис быстрых ответов уже стал их самым популярным цифровым продуктом — им пользуются более 49 миллионов человек в месяц.
Как устроена система: максимальная скорость и экономия ресурсов
Главное достоинство нейросети — умение быстро выдавать точный ответ и не перегружать оборудование при миллионах ежедневных запросов:
-
Разделение задач: Модель работает в два этапа. Сначала специальный умный модуль просматривает найденные сайты и вырезает из них только самые важные отрывки текста. Это избавило систему от чтения лишней информации и ускорило обработку запросов на 40%.
-
Умное подключение ресурсов: Полный размер нейросети составляет 35 миллиардов параметров. Однако благодаря умной архитектуре для каждого отдельного вопроса задействуется лишь нужная часть нейросети — около 600 миллионов параметров. Это меньше 2% от её общей мощности.
Результаты сравнения с другими системами
Компания провела независимое тестирование модели на задачах с русским языком:
-
На русскоязычных тестах открытая модель Яндекса обошла популярные зарубежные аналоги схожего размера.
-
По качеству и точности итоговых ответов она показала результаты на уровне гораздо более крупных мировых нейросетей, при этом требуя в разы меньше вычислительных мощностей.
Зачем модель выложили в сеть
Базовая версия прошла первоначальное обучение и обладает обширными знаниями.
Теперь сторонние разработчики и исследователи могут бесплатно изучать её устройство, дообучать под свои задачи и применять в собственных сервисах. При этом сама готовая программа, встроенная в Поиск, вместе с сервисами её запуска остаётся внутренней разработкой Яндекса
