ФЕДЕРАТИВНОЕ ОБУЧЕНИЕ: МОДЕЛИ НА ОСНОВЕ АРХИТЕКТУРЫ ТРАНСФОРМЕРОВ
DOI:
https://doi.org/10.32014/2026.2518-1726.440Ключевые слова:
обработка естественного языка, федеративное обучение, модели трансформеров, равномерный набор данных, неравномерный набор данных, количество клиентов, скорость обученияАннотация
В ходе исследования были рассмотрены метод федеративного обучения и производительность моделей BERT, ALBERT и DistilBERT. В ходе эксперимента набор данных был разделён между 3, 5, 7 и 11 клиентами, что позволило рассмотреть два различных метода распределения данных. Первый — IID, основанный на равномерном распределении набора данных. Второй — Non-IID, который, напротив, характеризует неравномерное распределение данных.
Основной целью исследования является выявление и классификация агрессивного контента с использованием метода федеративного обучения. Для обучения представленных моделей был использован набор данных English Profanity Words. Описание набора данных представлено в разделе «Методы и материалы». В ходе эксперимента был проведён анализ точности моделей и скорости их обучения. Кроме того, набор данных был разделён двумя способами, и при постепенном увеличении числа клиентов исследовались изменения точности моделей.
В результате модель ALBERT показала лучшие результаты при увеличении числа клиентов. Модель BERT продемонстрировала стабильные результаты, а модель DistilBERT, несмотря на более высокую скорость обучения по сравнению с другими моделями, показала более низкую точность. Полученные результаты могут помочь в выборе подходящей модели при работе с конфиденциальными данными и использовании методов федеративного обучения.
