Перейти к основному контенту Перейти к главному меню навигации Перейти к нижнему колонтитулу сайта
Вестник КазНПУ имени Абая. Серия: Физико-математические науки

КОРПУС И БАЗОВЫЕ МОДЕЛИ ВЫЯВЛЕНИЯ ТОКСИЧНЫХ КАЗАХОЯЗЫЧНЫХ КОММЕНТАРИЕВ

Опубликован September 2026

12

0

М. Сакыпбекова+−
Казахский национальный университет имени аль-Фараби
https://orcid.org/0000-0002-6652-1357
Р. Аубакирова+−
Казахский национальный университет имени аль-Фараби
https://orcid.org/0009-0002-8957-6315
Казахский национальный университет имени аль-Фараби
Казахский национальный университет имени аль-Фараби
Аннотация

Публичная коммуникация в Казахстане всё активнее уходит в интернет и переходит на казахский язык, однако ресурсов для автоматического выявления токсичных комментариев на этом языке по-прежнему мало. Имеющиеся казахоязычные корпуса собраны по спискам враждебных ключевых слов, в логике поиска экстремистского и деструктивного контента, лишь немногие из них открыты, а процедура разметки документирована ещё реже. В статье представлен Kaz-ToCo, корпус из 84 940 комментариев на казахском языке и на смешанном казахско-русском коде. Комментарии получены в мае 2026 года через интерфейс YouTube Data API v3 под 30 казахстанскими ток-шоу, без фильтрации по ключевым словам. Разметку по бинарной шкале токсичности выполнила языковая модель с открытыми весами, развёрнутая на локальном оборудовании. На стратифицированной выборке из 100 комментариев машинная разметка согласуется с разметкой носителя казахского языка на уровне 0,602 по коэффициенту каппа Коэна, при 95-процентном доверительном интервале от 0,446 до 0,758. Обучающая, валидационная и тестовая выборки построены на уровне исходного видео, поэтому комментарии одного видео не попадают в разные выборки. Для корпуса построены два базовых классификатора: признаки на основе частоты терминов и обратной частоты документов по словным и символьным n-граммам с логистической регрессией, а также дообученный казахоязычный энкодер архитектуры RoBERTa. Макроусреднённая мера F1 на отложенной тестовой выборке достигла 0,8086 и 0,8198 соответственно. Полученные значения заметно ниже околопредельных показателей, публикуемых на корпусах, собранных по ключевым словам, и предлагаются как реалистичная, а не оптимистичная точка отсчёта. Метки, покомментарийные метаданные, протокол разбиения на выборки, начальные значения генератора случайных чисел и гиперпараметры публикуются без ограничений. Сами тексты комментариев повторно распространять нельзя по правилам YouTube API Services Developer Policies, их предоставляет автор для корреспонденции по обоснованному запросу для некоммерческого научного использования.

pdf (English)
Язык

English

Как цитировать

[1]
Сакыпбекова M. и Аубакирова R. 2026. КОРПУС И БАЗОВЫЕ МОДЕЛИ ВЫЯВЛЕНИЯ ТОКСИЧНЫХ КАЗАХОЯЗЫЧНЫХ КОММЕНТАРИЕВ. Вестник КазНПУ имени Абая. Серия: Физико-математические науки. 95, 3 (сен. 2026), 252–264. DOI:https://doi.org/10.51889/2959-5894.2026.95.3.022.