Жестовый язык играет ключевую роль в общении людей с нарушениями слуха, однако автоматическое распознавание как статических так и динамических жестов остаётся непростой задачей. За последнее десятилетие получила развитие методика скелетно-ориентированного распознавания: вместо работы с «сырыми» видеопоследовательностями современные системы извлекают лишь координаты суставов (2D или 3D), что снижает нагрузку на вычисления и защищает приватность исполнителя. В этом обзоре мы описываем девятнадцать самых важных публикаций 2015–2024 гг., отобранных по PRISMA 2020 при поиске в Scopus, в которых применялись глубокие модели (ST-GCN, гибриды GCN+RNN, трансформеры) для обучения на скелетных данных. Обобщая их результаты, мы показываем: для задач изолированных слов точность Top-1 достигает 98–99 % (AUTSL), но при переходе к непрерывному распознаванию она падает до 80–90 % (word error rate 10–20 %). Наиболее перспективными оказались многопоточные решения, объединяющие позу суставов, векторы костей и скорости движения с механизмами внимания или трансформерами, которые улучшают распознавание динамических знаков на 3–5 %. Основные узкие места—недостаток крупных, богато аннотированных скелетных датасетов, слабая учётность немануальных компонентов (мимика, торс) и ограниченная переносимость моделей между языками жестов. Мы делаем вывод, что скелетно-базирующиеся подходы демонстрируют высокий потенциал для приватного, устойчивого к фоновому шуму распознавания жестов, однако их практическое применение в реальном времени требует расширения датасетов, более тонкой интеграции немануальных сигналов и гибридных архитектур для надёжной работы на непрерывных потоках жестового языка.
СОВРЕМЕННЫЕ ДОСТИЖЕНИЯ В РАСПОЗНАВАНИИ ЖЕСТОВОГО ЯЗЫКА НА СКЕЛЕТНЫХ ДАННЫХ
Опубликован December 2025
0
Аннотация
Язык
English
Как цитировать
[1]
Сембаев T. и Акбаров D. 2025. СОВРЕМЕННЫЕ ДОСТИЖЕНИЯ В РАСПОЗНАВАНИИ ЖЕСТОВОГО ЯЗЫКА НА СКЕЛЕТНЫХ ДАННЫХ. Вестник КазНПУ имени Абая. Серия: Физико-математические науки. 92, 4 (дек. 2025). DOI:https://doi.org/10.51889/2959-5894.2025.92.4.018.
https://orcid.org/0000-0003-2360-8767