МЕТОД ПОЛУЧЕНИЯ КЛЮЧЕВЫХ ТОЧЕК ПОЗЫ И КИСТЕЙ С КОНТРОЛЕМ КАЧЕСТВА ДЛЯ РАСПОЗНАВАНИЯ ЖЕСТОВОГО ЯЗЫКА

Аннотация

В задачах распознавания жестового языка по скелетным данным входное представление обычно задается временной последовательностью ключевых точек позы и кистей, что обеспечивает компактность описания и снижает зависимость от фона. Однако при обработке реальных видеозаписей прямое использование выходов стандартных средств оценки ключевых точек оказывается недостаточно надежным. Для траекторий кистей характерны пропуски детекций, перестановки левой и правой руки, дублирование оценок, временная нестабильность координат и смещения, обусловленные окклюзиями. Такие искажения нельзя считать несущественным шумом предварительной обработки, поскольку они напрямую влияют на качество последующего обучения моделей распознавания. В работе предложен метод формирования ключевых точек позы и кистей с контролем качества, в котором этап получения координат рассматривается как самостоятельная проверяемая и воспроизводимая стадия с явной аннотацией надежности. Метод объединяет назначение левой и правой кисти и пространственную фильтрацию кандидатов с опорой на позу, повторное уточнение в области интереса для кадров с низкой уверенностью или пропусками, краткосрочное временное сопровождение и удержание оценки, согласованную маркировку состояний при окклюзиях, проверки правдоподобия и постобработку для заполнения коротких разрывов и снижения нестабильности траекторий. Дополнительно формируются семантика надежности для каждой кисти и отчет о качестве на основе косвенных метрик, включающих покрытие, уверенность, доли восстановления, частоты корректирующих вмешательств и показатели временной нестабильности, а также воспроизводимый составной показатель для ранжирования и фильтрации данных при подготовке обучающих выборок без эталонной разметки ключевых точек. На датасете Slovo (n = 20 400) метод в полной конфигурации повышает составной показатель качества с 0,684 до 0,794 и снижает MissingRate с 0,329 до 0,193 по сравнению с базовым вариантом первого прохода обработки.