Ым тілін тану – есту мүмкіндігі шектеулі қауымдастық пен сау адамдар арасындағы коммуникациялық алшақтықты жоюда маңызды рөл атқарады, алайда статикалық және динамикалық ым-ишараларды автоматты түрде өңдеу әлі де күрделі міндет болып отыр. Соңғы он жылда бейнематериалдан тек буын координаттары (2D немесе 3D) алынатын қаңқа-негізіндегі тәсілдер есептеу талаптарын азайтып, қол қимыл жасаушының жеке өмірін сақтауға мүмкіндік туғызды. Бұл шолуда біз 2015–2024 жылдар аралығында PRISMA 2020 нұсқаулығы бойынша Scopus-тен таңдалған он тоғыз негізгі зерттеуді қарастырамыз; аталған жұмыстарда қаңқа мәліметтеріне (ST‐GCN, GCN + RNN гибридтері, Transformers) негізделген терең модельдер қолданылған. Біз анықтағанындай, оқшауланған сөздерді тануда Top-1 дәлдік 98–99 % (мысалы, AUTSL дерекқорында) деңгейінде көрінеді; ал үздіксіз қол қимылдары ағынын тану 80–90 % шамасында кетіп, сөз қатесі 10–20 % құрайды. Буын орналасуын, сүйек векторларын және қозғалыс сипаттамаларын назар аударатын механизмдер немесе Transformer қабаттарымен біріктіретін көпағынды архитектуралар динамикалық қимылды тануда 3–5 % артықшылық береді. Негізгі шектеулердің қатарына бай, толық аннотацияланған қаңқа корпусдарының жоқтығы, қимылдарды толық сипаттайтын беймөлдір (бет ымдары, дене қимылдары) сигналдардың жеткіліксіз қамтылуы және әртүрлі қол қимыл тілдеріне бейімделудің шектеулілігі жатады. Қорытындылай келе, қаңқа-негізіндегі әдістер жеке өмірді қорғап, шудан қорғалатын қимылдарды тануда үлкен әлеуетке ие; алайда нақты уақыттағы үздіксіз аударманы іске асыру үшін деректер жиынтығын әртараптандыру, беймөлдір артикуляторларды (бет ымдары, дене қимылы) қатты интеграциялау және тікелей қол қимылды толық күрделілігімен өңдейтін гибридті архитектураларды дамыту қажет.
СКЕЛЕТТІК ДЕРЕКТЕР НЕГІЗІНДЕГІ ЫМ-ИШАРА ТІЛІН ТАНУДАҒЫ ҚАЗІРГІ ЗАМАНҒЫ ЖЕТІСТІКТЕР
Жарияланған December 2025
0
Аңдатпа
Тіл
English
Як цитувати
[1]
Сембаев T. і Акбаров D. 2025. СКЕЛЕТТІК ДЕРЕКТЕР НЕГІЗІНДЕГІ ЫМ-ИШАРА ТІЛІН ТАНУДАҒЫ ҚАЗІРГІ ЗАМАНҒЫ ЖЕТІСТІКТЕР. Абай атындағы ҚазҰПУ Хабаршысы. Физика-математика ғылымдары сериясы. 92, 4 (Груд 2025). DOI:https://doi.org/10.51889/2959-5894.2025.92.4.018.
https://orcid.org/0000-0003-2360-8767