Перейти до головного Перейти в головне навігаційне меню Перейти на нижній колонтитул сайту
Абай атындағы ҚазҰПУ Хабаршысы. Физика-математика ғылымдары сериясы

ҚАЗАҚ ТІЛІНДЕГІ РЕСУРСЫ ШЕКТЕУЛІ RAG ЖҮЙЕЛЕРІНЕ АРНАЛҒАН ЧАНКИНГ СТРАТЕГИЯЛАРЫН ОҢТАЙЛАНДЫРУ ЖӘНЕ ИНФЕРЕНСТІ ЖЕДЕЛДЕТУ

Жарияланған September 2026

6

0

Ә.Г. Оспан+−
Әл-Фараби атындағы Қазақ ұлттық университеті
https://orcid.org/0000-0002-1860-6997
Т.С. Сарсембаева+−
Әл-Фараби атындағы Қазақ ұлттық университеті
https://orcid.org/0000-0001-7668-2640
А.Ж. Сайлау+−
Әл-Фараби атындағы Қазақ ұлттық университеті
https://orcid.org/0009-0003-8251-3327
А.Б. Темірханова+−
Әл-Фараби атындағы Қазақ ұлттық университеті
https://orcid.org/0009-0009-6085-3674
Әл-Фараби атындағы Қазақ ұлттық университеті
Әл-Фараби атындағы Қазақ ұлттық университеті
Әл-Фараби атындағы Қазақ ұлттық университеті
Әл-Фараби атындағы Қазақ ұлттық университеті
Обуда университеті
Аңдатпа

Retrieval-Augmented Generation (RAG) архитектурасы үлкен тілдік модельдердің (LLM) жауаптарын сыртқы білім көздерімен негіздеудің негізгі тәсілі ретінде кеңінен қолданылуда. Дегенмен, бұл технологияны морфологиялық құрылымы күрделі әрі ресурстық қамтамасыз етілуі шектеулі тілдерге бейімдеу мәселесі жеткілікті деңгейде зерттелмеген. Осы мақалада қазақ тіліндегі RAG жүйелеріне қатысты екі өзекті ғылыми мәселе қарастырылады: құжаттарды семантикалық тұрғыдан үйлесімді фрагменттерге бөлу стратегияларын әзірлеу және графикалық үдеткіштерде орындалатын көпсатылы инференс үдерісін жеделдету. Зерттеуде Egemen Qazaqstan (2017–2025, 129 тақырыптық санат) ұлттық газетінің алдын ала өңделген 201 202 жаңалық құжатынан тұратын корпус құрылды. Үш чанктеу стратегиясы ұсынылды: Fixed-size (базалық), Semantic (косинустық ұқсастық бойынша шекара анықтау), Adaptive (семантикалық және ұзындық бойынша реттелген біріктірілген бағалау). Бағалау төрт өлшем бойынша жүргізілді: когеренттілік, құжатты қамту, шекара дәлдігі, ұзындық тұрақтылығы. Adaptive әдіс ChunkScore = 0.879 нәтижесіне қол жеткізіп, Fixed-size базасынан 0.045 жоғары болды, сондай-ақ retrieval F1@5 көрсеткішін 0.067-ге, end-to-end дәлдікті 4 пайыздық тармаққа (92%) арттырды (50 сұраулы тест жиыны).

Инференсті жеделдету үшін NVIDIA H200 GPU-де толық GPU жадында орналасқан дәл индекс (FAISS-GpuIndexFlatIP) қолданылды, іздеу кідірісі 2.4 ms деңгейіне жетіп, ChromaDB-мен салыстырғанда 70.8× жылдамдау қамтамасыз етті. INT4 квантталған генерация, HBM3-тегі KV-cache және attention-based self-evaluation механизмімен бірге жүйе суық кэште 0.92 ± 0.06 s, толық KV-cache қайта қолданылғанда ~0.20 s (4.3× жылдамдау) орташа жауап беру уақытын көрсетті. Жүйе бір GPU-де, сыртқы API-сыз жұмыс істейді. Нәтижелер жоғары дәлдікті, субсекундтық қазақ тіліндегі RAG жүйесін құрудың мүмкін екенін көрсетеді және low-resource retrieval зерттеулері үшін базалық репродуктивті нәтижелерді ұсынады.

pdf (English)
Тіл

English

Як цитувати

[1]
Оспан A., Сарсембаева T., Сайлау A., Темірханова A. і Фелде I. 2026. ҚАЗАҚ ТІЛІНДЕГІ РЕСУРСЫ ШЕКТЕУЛІ RAG ЖҮЙЕЛЕРІНЕ АРНАЛҒАН ЧАНКИНГ СТРАТЕГИЯЛАРЫН ОҢТАЙЛАНДЫРУ ЖӘНЕ ИНФЕРЕНСТІ ЖЕДЕЛДЕТУ. Абай атындағы ҚазҰПУ Хабаршысы. Физика-математика ғылымдары сериясы. 95, 3 (Вер 2026), 240–251. DOI:https://doi.org/10.51889/2959-5894.2026.95.3.021.