ОБНАРУЖЕНИЕ AI-КОНТЕНТА В ПИСЬМЕННЫХ РАБОТАХ ОБУЧАЮЩИХСЯ МЕТОДАМИ МАШИННОГО ОБУЧЕНИЯ

Аннотация

Распространение генеративного искусственного интеллекта усложнило оценку авторства письменных работ в образовании и повысило потребность в прозрачных и проверяемых методах различения машинно-сгенерированного и написанного человеком текста. При этом результаты автоматизированного обнаружения не должны рассматриваться как окончательное доказательство академического нарушения. Цель исследования заключается в сравнении лексического и независимого от содержания стилометрического подходов к выявлению AI-контента в образовательных эссе. Эксперимент выполнен на 44 868 англоязычных текстах из многокомпонентного корпуса DAIGT V2, включая 27 371 текст, написанный человеком, и 17 497 текстов, созданных генеративными моделями. Для лексического представления использовались униграммы и биграммы TF-IDF с классификатором Linear SVM. Независимое от содержания стилометрическое представление включало 14 структурных и стилометрических признаков, не использующих непосредственно словарное содержание текста, и классифицировалось методом Logistic Regression. Дополнительно различия между текстами, написанными человеком и созданными ИИ, оценивались с помощью критерия Манна–Уитни и величины эффекта. Модель TF-IDF достигла Accuracy 99,69%, F1-score 99,60% и ROC-AUC 99,98% на стратифицированной отложенной тестовой выборке. Модель, основанная только на стилометрических признаках, при пятикратной стратифицированной кросс-валидации показала Accuracy 87,90 ± 0,40%, F1-score 84,34 ± 0,48% и ROC-AUC 95,08 ± 0,17%. Наиболее выраженное различие среди выбранных стилометрических признаков наблюдалось для средней длины слова; систематические различия также были выявлены в длине текста, лексическом разнообразии и использовании пунктуации. Полученные результаты показывают, что лексическая информация обладает высокой дискриминирующей способностью в исследованном корпусе, однако существенный прогнозный сигнал сохраняется и после исключения прямого словарного содержания. Стилометрические признаки могут использоваться как интерпретируемый дополнительный инструмент анализа образовательных текстов. Вместе с тем результат автоматического детектора не должен рассматриваться как окончательное доказательство использования AI конкретным обучающимся. Проверки устойчивости показали Accuracy 99,75% после удаления близких дубликатов, 96,46% на ранее не встречавшихся темах и 95,39% при полном исключении Llama-70B из обучающей выборки. Это указывает на измеримую чувствительность модели к распределению данных. Таким образом, основной вклад работы состоит не в разработке нового классификатора, а в сравнении существующих лексических и интерпретируемых стилометрических представлений с учетом их устойчивости.