В данной статье рассматривается разработка системы распознавания казахского жестового языка и повышение её эффективности. Актуальной задачей является создание системы, способной распознавать казахский жестовый язык в режиме реального времени с целью облегчения коммуникации среди людей с нарушениями слуха и речи. В предлагаемом методе используется сверточная нейронная сеть YOLOv5 и библиотека Mediapipe, обеспечивающие высокоточное распознавание жестов в реальном времени. Для анализа распознанных знаков и их семантической обработки применяется сеть долговременной и кратковременной памяти (LSTM). Разработанная система позволяет анализировать движения рук пользователя в реальном времени и формировать осмысленные предложения из распознанных жестов. Кроме того, для удобства представления результатов пользователю был разработан веб-сайт на основе фреймворка Django. Экспериментальные результаты показали, что предложенная система обеспечивает высокую точность и надежность при распознавании казахского жестового языка в реальном времени.