РАСПОЗНАВАНИЕ ЯЗЫКА ЖЕСТОВ С ИСПОЛЬЗОВАНИЕМ ВРЕМЕННОЙ СВЕРТОЧНОЙ СЕТИ И MEDIAPIPE

Авторы

  • Еримбетова А.С. PhD, к.т.н., ассоциированный профессор, ведущий научный сотрудник Института информационных и вычислительных технологий КН МНВО РК, Алматы, Казахстан
  • Бержанова У.Г. докторант 2-го курса по специальности 8D06101 - Информационные системы Казахского национального университета имени Аль-Фараби; младший научный сотрудник Института информационных и вычислительных технологий КН МНВО РК, Алматы, Казахстан
  • Дайырбаева Э.Н. магистр, старший преподаватель кафедры «Программная инженерия» Казахского национального исследовательского технического университета имени К.И. Сатпаева; научный сотрудник Института информационных и вычислительных КН МНВО РК, Алматы, Казахстан
  • Сакенов Б.Е. магистр, инженер-программист Института информационных и вычислительных технологий КН МНВО РК, Алматы, Казахстан
  • Самбетбаева М.А. PhD, ассоциированный профессор Евразийского национального университета им. Л.Н. Гумилева, Казахстан, Алматы, ведущий научный сотрудник Института информационных и вычислительных технологий КН МНВО РК, Астана, Казахстан

DOI:

https://doi.org/10.32014/2026.2518-1726.422

Ключевые слова:

Казахский язык жестов, распознавание жестов, MediaPipe, TCN, Transformer

Аннотация

Это исследование предлагает новую систему распознавания языка жестов. Он объединяет временную сверточную сеть для кодирования визуальной информации с декодером на основе Трансформера для создания текстовых представлений. Система преобразует изображения движения в текст, эффективно фиксируя как поток движения, так и пространственное расположение знаков с течением времени. Для этого MediaPipe извлекает 3D-ориентированные данные из каждого видеокадра и подготавливает их к оптимальной производительности модели. Эффективность этой архитектуры проверяется с помощью набора данных казахского русского жестового языка, который подтверждает ее пригодность для конкретных задач распознавания жестового языка. В этой статье рассматриваются основные проблемы с распознаванием языка жестов, включая различия между пользователями, ограниченные данные обучения и отсутствие готовых шаблонов для языков с ограниченными ресурсами. В результате это исследование способствует разработке коммуникационных технологий, которые облегчают взаимодействие людей с нарушениями слуха и речи, поддерживают различные инклюзивные приложения и способствуют инклюзивности.

Загрузки

Опубликован

2026-03-27

Как цитировать

Еримбетова, А., Бержанова, У., Дайырбаева, Э., Сәкенов , Б., & Самбетбаева M. (2026). РАСПОЗНАВАНИЕ ЯЗЫКА ЖЕСТОВ С ИСПОЛЬЗОВАНИЕМ ВРЕМЕННОЙ СВЕРТОЧНОЙ СЕТИ И MEDIAPIPE . Academic Scientific Journal of Computer Science, 357(1), 443–460. https://doi.org/10.32014/2026.2518-1726.422

Выпуск

Том 357 № 1 (2026): Academic Scientific Journal of Computer Science

Раздел

Информационно-коммуникационные технологии