Перейти к основному контенту Перейти к главному меню навигации Перейти к нижнему колонтитулу сайта
Вестник КазНПУ имени Абая. Серия: Физико-математические науки

СОВРЕМЕННЫЕ ДОСТИЖЕНИЯ В РАСПОЗНАВАНИИ ЖЕСТОВОГО ЯЗЫКА НА СКЕЛЕТНЫХ ДАННЫХ

Опубликован December 2025

0

Astana IT University
Astana IT University
Аннотация

Жестовый язык играет ключевую роль в общении людей с нарушениями слуха, однако автоматическое распознавание как статических так и динамических жестов остаётся непростой задачей. За последнее десятилетие получила развитие методика скелетно-ориентированного распознавания: вместо работы с «сырыми» видеопоследовательностями современные системы извлекают лишь координаты суставов (2D или 3D), что снижает нагрузку на вычисления и защищает приватность исполнителя. В этом обзоре мы описываем девятнадцать самых важных публикаций 2015–2024 гг., отобранных по PRISMA 2020 при поиске в Scopus, в которых применялись глубокие модели (ST-GCN, гибриды GCN+RNN, трансформеры) для обучения на скелетных данных. Обобщая их результаты, мы показываем: для задач изолированных слов точность Top-1 достигает 98–99 % (AUTSL), но при переходе к непрерывному распознаванию она падает до 80–90 % (word error rate 10–20 %). Наиболее перспективными оказались много­поточные решения, объединяющие позу суставов, векторы костей и скорости движения с механизмами внимания или трансформерами, которые улучшают распознавание динамических знаков на 3–5 %. Основные узкие места—недостаток крупных, богато аннотированных скелетных датасетов, слабая учётность немануальных компонентов (мимика, торс) и ограниченная переносимость моделей между языками жестов. Мы делаем вывод, что скелетно-базирующиеся подходы демонстрируют высокий потенциал для приватного, устойчивого к фоновому шуму распознавания жестов, однако их практическое применение в реальном времени требует расширения датасетов, более тонкой интеграции немануальных сигналов и гибридных архитектур для надёжной работы на непрерывных потоках жестового языка.

Язык

English

Как цитировать

[1]
Сембаев T. и Акбаров D. 2025. СОВРЕМЕННЫЕ ДОСТИЖЕНИЯ В РАСПОЗНАВАНИИ ЖЕСТОВОГО ЯЗЫКА НА СКЕЛЕТНЫХ ДАННЫХ. Вестник КазНПУ имени Абая. Серия: Физико-математические науки. 92, 4 (дек. 2025). DOI:https://doi.org/10.51889/2959-5894.2025.92.4.018.