Retrieval-Augmented Generation (RAG) сформировалась как доминирующая парадигма для обоснования выходов больших языковых моделей (LLM) внешними источниками знаний, однако её систематическое применение к морфологически сложным языкам с ограниченными ресурсами остаётся недостаточно изученным. В данной работе рассматриваются две задачи для казахоязычных RAG-систем: проектирование семантически согласованных стратегий чанкинга документов и ускорение многостадийного инференса на GPU. В исследовании сформирован корпус из 201 202 предварительно обработанных новостных документов национальной газеты Egemen Qazaqstan (2017–2025, 129 тематических категорий). Предложены три стратегии чанкинга: Fixed-size (базовая), Semantic (определение границ по косинусной близости), Adaptive (объединённая семантическая и длино-регуляризованная оценка). Оценка выполнена по четырёхмерной метрике: когерентность, покрытие документа, точность границ, регулярность длины. Стратегия Adaptive достигла ChunkScore = 0.879, превзойдя Fixed-size на 0.045, а также повысила Retrieval F1@5 на 0.067 и end-to-end точность на 4 процентных пункта (92%) на тесте из 50 фактологических запросов. Для ускорения инференса использован точный GPU-индекс (FAISS-GpuIndexFlatIP) на NVIDIA H200, обеспечивший задержку поиска 2.4 мс и ускорение 70.8× по сравнению с ChromaDB без потери качества. В сочетании с INT4-квантованной генерацией, KV-cache в HBM3 и механизмом attention-based self-evaluation система достигает среднего времени ответа 0.92 ± 0.06 с в холодном кэше и ~0.20 с при полном повторном использовании KV-cache (ускорение 4.3×). Система работает на одном GPU без внешних API. Результаты демонстрируют возможность построения высокоточных субсекундных казахоязычных RAG-систем и формируют воспроизводимую базу для дальнейших исследований в области retrieval для low-resource языков.
ОПТИМИЗАЦИЯ СТРАТЕГИЙ ЧАНКИНГА И УСКОРЕНИЕ ИНФЕРЕНСА ДЛЯ КАЗАХОЯЗЫЧНЫХ RAG-СИСТЕМ В УСЛОВИЯХ ОГРАНИЧЕННЫХ РЕСУРСОВ
Опубликован September 2026
6
0
Аннотация
Язык
English
Как цитировать
[1]
Оспан A., Сарсембаева T., Сайлау A., Темірханова A. и Фелде I. 2026. ОПТИМИЗАЦИЯ СТРАТЕГИЙ ЧАНКИНГА И УСКОРЕНИЕ ИНФЕРЕНСА ДЛЯ КАЗАХОЯЗЫЧНЫХ RAG-СИСТЕМ В УСЛОВИЯХ ОГРАНИЧЕННЫХ РЕСУРСОВ. Вестник КазНПУ имени Абая. Серия: Физико-математические науки. 95, 3 (сен. 2026), 240–251. DOI:https://doi.org/10.51889/2959-5894.2026.95.3.021.
https://orcid.org/0000-0002-1860-6997