Российские учёные ускорили ИИ-рекомендации в 190 раз и повысили точность на 5,6%

Исследователи Сбербанка разработали метод дистилляции знаний, который переносит понимание пользователя из больших языковых моделей в компактные рекомендательные системы.

Вы когда-нибудь замечали, что рекомендации в онлайн-магазинах и стриминговых сервисах иногда бывают пугающе точными, а иногда — абсурдно нелепыми? Всё потому, что у классических рекомендательных систем есть врождённый недостаток: они хорошо видят, что вы делали, но плохо понимают, чего вы на самом деле хотите. Особенно если вы новый пользователь. Российские исследователи нашли элегантное решение.

Сбербанк совместно с учёными разработал подход, который позволяет переносить глубокие семантические знания из больших языковых моделей (как ChatGPT, только российские) в компактные рекомендательные системы. Как сообщила пресс-служба банка, это повысило точность рекомендаций на 5,6 процента, сохранив при этом высокую скорость работы.

В чём была проблема?

• Классические рекомендательные системы (лёгкие, быстрые) отлично работают с временными цепочками действий, но плохо понимают смысл. Если вы купили подарок маме, система будет предлагать вам женские товары ещё месяц.

• Большие языковые модели (тяжёлые, умные) отлично понимают контекст и истинные предпочтения, но они медленные и требуют огромных вычислительных ресурсов. Использовать их в реальном времени для каждого пользователя — дорого и долго.

Директор Центра практического искусственного интеллекта Сбербанка Николай Тиден пояснил: использовать большие языковые модели напрямую в рекомендательных сервисах — всё равно что приглашать профессора лингвистики для ответа на каждый вопрос в чате. Разработанный подход берёт у «профессора» самое ценное — понимание глубинных мотивов пользователя — и передаёт это быстрому и лёгкому «ассистенту».

Российские учёные применили вариант дистилляции знаний — метода, при котором большая «учительская» модель обучает маленькую «ученическую». На этапе обучения по истории взаимодействий и текстовым метаданным формируется профиль пользователя, который затем превращается в вектор. С ним выравниваются внутренние представления самой рекомендательной модели. Когда система выдаёт рекомендации реальному человеку, ресурсоёмкая большая языковая модель уже не требуется.

Проверки показали:

• Точность рекомендаций повысилась примерно на 5,6%.

• Скорость нового алгоритма — примерно в 190 раз быстрее, чем система на базе больших языковых моделей.

То есть вы получаете почти ту же умную рекомендацию (на 5,6% точнее старой системы), но в 190 раз быстрее. И без необходимости держать на сервере тяжёлую языковую модель.

Компании смогут повышать качество рекомендаций без дополнительных затрат на мощное железо и электричество. Пользователи — получать более релевантные предложения без задержек. А российская наука — ещё раз подтвердить свой статус в области искусственного интеллекта.