Перейти до головного Перейти в головне навігаційне меню Перейти на нижній колонтитул сайту
Абай атындағы ҚазҰПУ Хабаршысы. Физика-математика ғылымдары сериясы

ҚАЗАҚ ТІЛІНДЕГІ УЫТТЫ ПІКІРЛЕРДІ АНЫҚТАУДЫҢ КОРПУСЫ МЕН БАЗАЛЫҚ МОДЕЛЬДЕРІ

Жарияланған September 2026

12

0

М. Сакыпбекова+−
әл-Фараби атындағы Қазақ ұлттық университеті
https://orcid.org/0000-0002-6652-1357
Р. Аубакирова+−
әл-Фараби атындағы Қазақ ұлттық университеті
https://orcid.org/0009-0002-8957-6315
әл-Фараби атындағы Қазақ ұлттық университеті
әл-Фараби атындағы Қазақ ұлттық университеті
Аңдатпа

Қазақстандағы жария коммуникация барған сайын интернетке ауысып, қазақ тіліне көшуде, алайда осы тілдегі уытты пікірлерді автоматты түрде анықтауға арналған ресурстар әлі де аз. Қолда бар қазақ тіліндегі корпустар экстремистік әрі деструктивті мазмұнды іздеп, түйінді сөздер тізімі арқылы жиналған, олардың аз бөлігі ғана ашық жарияланған, ал белгілеу рәсімі одан да сирек құжатталған. Мақалада Kaz-ToCo, яғни қазақ тілінде және аралас қазақ-орыс кодында жазылған 84 940 пікірден тұратын корпус ұсынылады. Пікірлер 2026 жылдың мамырында YouTube Data API v3 интерфейсі арқылы 30 қазақстандық ток-шоудың астынан жиналды, түйінді сөздер арқылы сүзгіден өткізілмей. Оларды екілік уыттылық шкаласымен жергілікті жабдыққа орнатылған ашық салмақты тілдік модель белгіледі. Стратификацияланған 100 пікірден тұратын іріктемеде машиналық белгілеу қазақ тілін ана тілі ретінде білетін маманның бағасымен үйлесті. Коэн каппа коэффициенті 0,602 құрады, 95 пайыздық сенімділік аралығы 0,446-дан 0,758-ге дейін. Оқыту, валидация және тест іріктемелері бейне деңгейінде құрылды, сондықтан бір бейненің пікірлері әртүрлі іріктемеге түспейді. Корпус үшін екі базалық классификатор құрылды: сөздік және таңбалық n-граммаларға негізделген терминдер жиілігі мен құжаттардың кері жиілігі белгілері логистикалық регрессиямен және қосымша оқытылған қазақ тіліндегі RoBERTa сәулетіндегі энкодер. Кейінге қалдырылған тест іріктемесіндегі макроорташаланған F1 өлшемі сәйкесінше 0,8086 және 0,8198 болды. Алынған мәндер түйінді сөздер бойынша жиналған корпустарда жарияланатын шекке жуық көрсеткіштерден айтарлықтай төмен және оптимистік емес, шынайы бастапқы нүкте ретінде ұсынылады. Белгілер, пікір деңгейіндегі метадеректер, іріктемелерге бөлу хаттамасы, кездейсоқ сандар генераторының бастапқы мәндері мен гиперпараметрлер шектеусіз жарияланады. Пікірлердің мәтіндерін YouTube API Services Developer Policies ережелеріне сәйкес қайта таратуға болмайды, олар коммерциялық емес ғылыми мақсатта хат-хабар авторынан негізді сұраныс бойынша алынады.

pdf (English)
Тіл

English

Як цитувати

[1]
Сакыпбекова M. і Аубакирова R. 2026. ҚАЗАҚ ТІЛІНДЕГІ УЫТТЫ ПІКІРЛЕРДІ АНЫҚТАУДЫҢ КОРПУСЫ МЕН БАЗАЛЫҚ МОДЕЛЬДЕРІ. Абай атындағы ҚазҰПУ Хабаршысы. Физика-математика ғылымдары сериясы. 95, 3 (Вер 2026), 252–264. DOI:https://doi.org/10.51889/2959-5894.2026.95.3.022.