ВЫЯВЛЕНИЕ ОСКОРБИТЕЛЬНЫХ КОММЕНТАРИЕВ НА КАЗАХСКОМ ЯЗЫКЕ В ОНЛАЙН-КОНТЕНТЕ С ПОМОЩЬЮ АЛГОРИТМОВ ГЛУБОКОГО ОБУЧЕНИЯ

Аннотация

Стремительное развитие социальных сетей и онлайн-платформ привело к значительному увеличению количества оскорбительных и агрессивных комментариев, что формирует психологические, социальные и связанные с безопасностью риски. Оскорбительная лексика, кибербуллинг и язык ненависти могут негативно влиять на психологическое состояние пользователей, способствовать тревожности, социальной изоляции и снижению качества онлайн-коммуникации. В исследовании предложен подход на основе глубокого обучения для выявления оскорбительных комментариев на казахском языке, объединяющий двунаправленную сеть долгой краткосрочной памяти (BiLSTM), разработанный для казахского языка алгоритм стемминга и методы лингвистической предварительной обработки. Для экспериментальной оценки была сформирована сбалансированная выборка из 40 000 вручную размеченных комментариев на казахском языке, включающая 20 000 оскорбительных и 20 000 нейтральных комментариев. Обработка данных осуществлялась с применением расширяемого словаря стемминга. Эффективность моделей оценивалась по показателям Accuracy, Precision, Recall и F1-score. Наилучшие результаты показала модель BiLSTM: Accuracy - 91,3%, Precision - 92,6%, Recall - 93,0%, F1-score - 92,7%. Наивный байесовский классификатор продемонстрировал наиболее низкие показатели: Accuracy - 60,2%, Precision - 52,4%, Recall - 58,5%, F1-score - 64,2%. Полученные результаты подтверждают эффективность методов глубокого обучения при обработке морфологически сложных текстов на казахском языке. Предложенный подход может быть интегрирован в социальные сети и онлайн-сервисы для автоматической модерации контента, профилактики кибербуллинга и формирования более безопасной цифровой среды для казахоязычных пользователей.