DEVELOPMENT OF AN INTELLECTUAL SYSTEM FOR RECOGNIZING KAZAKH DACTYL GESTURES BASED ON LSTM AND GRU MODELS
DOI:
https://doi.org/10.32014/2023.2518-1726.190Ключевые слова:
казахский жестовый язык, распознавание жестов рук, динамические жесты, Media Pipe, LSTM, GRU.Аннотация
Рассматривается проблема автоматизированного перевода дактильного казахского языка с преобразованием жестов в текст и предлагаются два возможных подхода к решению проблемы. Представлен способ распознавания динамических казахских дактильных знаков в видеопотоке, основанный на визуальном анализе положения рук с позиционированием ключевых точек. Для считывания и позиционирования ключевых точек из изображений использована инструментальная система MediaPipe. В качестве классификаторов знаков применяются усовершенствованные варианты рекуррентных нейронных сетей для обнаружения жестовых изображений.
Для распознавания жестов подготовлены собственные наборы данных, которые позволяют достичь высокой эффективности и точности распознавания по принятым моделям в режиме реального времени. Указанный набор данных состоит из динамических жестов казахского дактильного языка. Достоинством рассматриваемых подходов является относительная простота предлагаемых методов в вычислительном отношении, вследствие чего их реализация не требует использования высокопроизводительной вычислительной техники и специального оборудования.
В проведенных экспериментальных исследованиях с использованием предложенных моделей LSTM и GRU, достигнута точность распознавания динамических дактильных жестов казахского языка 85% и 100% соответственно. При этом распознавание осуществлялось в режиме реального времени с использованием обычной компьютерной видео камеры. Проведено также тестирование распознавания изображений этих же жестов, полученных с помощью веб-камеры. По результатам исследований разработано резюме использованных моделей LSTM и GRU с оценкой распознавания динамических жестов казахского дактильного языка.
