REAL-TIME KAZAKH SIGN LANGUAGE RECOGNITION USING MEDIAPIPE AND SVM
DOI:
https://doi.org/10.32014/2023.2518-1726.170Ключевые слова:
Ключевые слова: жест руками, распознавание жестов, машинное обучение, SVM.Аннотация
Аннотация. В исследовании предлагается распознавание казахского дактильного авфавита в реальном времени с использованием алгоритма машинного обучения. Проанализированы казахский, казахско-русский и американский жестовые языки. Кроме того, реализована программа распознавания 42 казахских дактильных жестов. Выбран алгоритм машины опорных векторов (SVM) для распознавания жестов. Также оценивалось качество алгоритмов. Сформирован набор данных из более 4200 изображений с 42 классами. Использован Framework Media Pipe для получения ориентиров руки и для сбора данных.
Работа в статье является продолжением изучения трудностей классификации жестов в казахском языке жестов (KazSL). Пользователь должен иметь возможность захватывать изображения казахских жестов рук с помощью веб-камеры, а программа распознавания должна предсказывать и отображать название захваченного жеста.
Цель системы - обнаружение 42 казахских жестов со скоростью обработки в реальном времени, минимизировать помехи и получить высокий процент точности распознавания. Результаты показывают, что точность алгоритма достигает 99%.
Важность такой модели заключается в ее экономичности и простоте использования. В этой системе использовались изображения в реальном времени из видеокадров, захваченных веб-камерой. Далее обработанные изображения передавались в классификаторы по алгоритму SVM. Классификатор превратил изображение в модель. Наконец, ожидаемый результат был получен.
