ХОЛОДНЫЙ ЗАПУСК В СИСТЕМАХ РЕКОМЕНДАЦИЙ В ОБЛАСТИ ОБРАЗОВАНИЯ: КЛАССИЧЕСКИЕ СРЕДСТВА И СТРАТЕГИИ LLM ЭПОХИ

Аннотация

Системы рекомендаций в образовании (ERS) способствуют развитию образования и повышают заинтересованность студентов в предмете, поскольку система адаптирована к личным предпочтениям на основе различных параметров. Цель этой работы — рассмотреть методы, системы и общие проблемы, возникающие при работе с ERS. В частности, проблема «холодного старта» при запуске нового курса, добавлении нового пользователя или добавлении нового каталога курсов или страны в систему. До недавнего времени традиционными подходами к решению этой проблемы были контентные особенности, графики/GNN и междоменный перенос. С недавним развитием LLM используются два основных подхода: LLM как система рекомендаций и LLM как усилитель знаний. В данной работе сравниваются эти подходы с помощью следующих метрик: время отклика на качественное предложение, коэффициент выживаемости курса в течение 12-24 месяцев и коэффициент завершения курса студентами.

            В данной статье также рассматриваются основные различия между классическим подходом и подходом, ориентированным на LLM. Это делается в контексте образовательных платформ, где каталоги часто обновляются и часто вводятся новые области обучения. Особое внимание уделяется трем сценариям «холодного старта»: новый учащийся без истории взаимодействия, новый курс с минимальным количеством кликов и отзывов, а также новый регион или витрина с другими лингвистическими и культурными характеристиками. Для оценки эффективности подходов используются как стандартные метрики рекомендательных систем, так и дополнительные показатели платформы, отражающие динамику появления высококачественных курсов, уровень их востребованности и стабильность во времени. Полученные результаты ясно показывают условия, при которых подходы LLM обеспечивают наибольшее повышение качества рекомендаций, а также ограничения, которые остаются при их практическом применении в образовательных рекомендательных системах. Ключевые слова: образовательные рекомендательные системы; холодный старт; LLM; RAG; гибридные модели; графы знаний; MOOC; метрики оценки