RETRIEVAL ЭФФЕКТИВНЕЕ FINE-TUNING: АДАПТАЦИЯ МАЛОЙ ЯЗЫКОВОЙ МОДЕЛИ КАЗАХСКОГО ЯЗЫКА ДЛЯ ОТВЕТОВ НА ИСТОРИЧЕСКИЕ ВОПРОСЫ.

Аннотация

Большие языковые модели (LLM) демонстрируют высокую эффективность при решении широкого спектра языковых задач, однако их применение в предметно-ориентированных областях, особенно для языков с ограниченными ресурсами, остается затруднительным. В исследовании рассматривается подход к адаптации малых языковых моделей (SLM) для решения задач, связанных с ответами на вопросы по истории. В качестве базовой модели использована малая визуально-языковая модель Qolda, разработанная Институтом умных систем и искусственного интеллекта (ISSAI). Сравниваются четыре архитектуры: 1) базовая модель Qolda; 2) Qolda с дообучением с учителем (SFT) на основе 48 000 пар инструкций, полученных из Википедии; 3) Qolda с механизмом поисково-дополненной генерации (RAG), основанным на 29 оцифрованных учебниках по истории, содержащих 2,25 млн индексированных токенов; 4) Qolda, объединяющая SFT и RAG. Для проверки применимости выявленных закономерностей к другим казахоязычным моделям дополнительно оценивались более крупные модели KazLLM и Sherkala-Chat. Все архитектуры тестировались на 1 081 вопросе с множественным выбором из Единого национального тестирования по истории Казахстана и на наборе из 500 открытых вопросов. Результаты показали, что Qolda+RAG обеспечивает точность 74,93 ± 0,43% и средний показатель качества 3,34 ± 1,64. В рассматриваемых условиях SFT преимущественно выполняет функцию форматирования ответа, сокращая его среднюю длину с 51,8 до 14,64 слова. Архитектура Qolda-SFT+RAG выполняет вывод примерно вдвое быстрее Qolda+RAG при сопоставимом уровне качества 3,10 ± 1,42. Полученные результаты формируют методологическую основу для дальнейшей разработки ИИ-агентов с поддержкой казахского языка для широкого спектра прикладных задач.