Публичная коммуникация в Казахстане всё активнее уходит в интернет и переходит на казахский язык, однако ресурсов для автоматического выявления токсичных комментариев на этом языке по-прежнему мало. Имеющиеся казахоязычные корпуса собраны по спискам враждебных ключевых слов, в логике поиска экстремистского и деструктивного контента, лишь немногие из них открыты, а процедура разметки документирована ещё реже. В статье представлен Kaz-ToCo, корпус из 84 940 комментариев на казахском языке и на смешанном казахско-русском коде. Комментарии получены в мае 2026 года через интерфейс YouTube Data API v3 под 30 казахстанскими ток-шоу, без фильтрации по ключевым словам. Разметку по бинарной шкале токсичности выполнила языковая модель с открытыми весами, развёрнутая на локальном оборудовании. На стратифицированной выборке из 100 комментариев машинная разметка согласуется с разметкой носителя казахского языка на уровне 0,602 по коэффициенту каппа Коэна, при 95-процентном доверительном интервале от 0,446 до 0,758. Обучающая, валидационная и тестовая выборки построены на уровне исходного видео, поэтому комментарии одного видео не попадают в разные выборки. Для корпуса построены два базовых классификатора: признаки на основе частоты терминов и обратной частоты документов по словным и символьным n-граммам с логистической регрессией, а также дообученный казахоязычный энкодер архитектуры RoBERTa. Макроусреднённая мера F1 на отложенной тестовой выборке достигла 0,8086 и 0,8198 соответственно. Полученные значения заметно ниже околопредельных показателей, публикуемых на корпусах, собранных по ключевым словам, и предлагаются как реалистичная, а не оптимистичная точка отсчёта. Метки, покомментарийные метаданные, протокол разбиения на выборки, начальные значения генератора случайных чисел и гиперпараметры публикуются без ограничений. Сами тексты комментариев повторно распространять нельзя по правилам YouTube API Services Developer Policies, их предоставляет автор для корреспонденции по обоснованному запросу для некоммерческого научного использования.
КОРПУС И БАЗОВЫЕ МОДЕЛИ ВЫЯВЛЕНИЯ ТОКСИЧНЫХ КАЗАХОЯЗЫЧНЫХ КОММЕНТАРИЕВ
Опубликован September 2026
12
0
Аннотация
Язык
English
Как цитировать
[1]
Сакыпбекова M. и Аубакирова R. 2026. КОРПУС И БАЗОВЫЕ МОДЕЛИ ВЫЯВЛЕНИЯ ТОКСИЧНЫХ КАЗАХОЯЗЫЧНЫХ КОММЕНТАРИЕВ. Вестник КазНПУ имени Абая. Серия: Физико-математические науки. 95, 3 (сен. 2026), 252–264. DOI:https://doi.org/10.51889/2959-5894.2026.95.3.022.
https://orcid.org/0000-0002-6652-1357