O'ZBEK TILI PUNKTUATSIYASINING LINGVISTIK ASOSLARI VA UNI AVTOMATIK TIKLASH MODELLARI

Annotatsiya. Ushbu tezisda o‘zbek tilida punktuatsiyani avtomatik tiklash muammosi lingvistik va kompyuter lingvistikasi nuqtayi nazaridan qisqa tahlil qilinadi. Punktuatsion belgilar faqat grafik ajratkich emas, balki sintaktik tuzilish, mazmuniy munosabat va kommunikativ maqsadni ifodalovchi lingvistik vosita sifatida talqin qilinadi. O‘zbek tilining agglutinativ tabiati, grammatik shakllarning axborot yuklamasi va gap qurilishining xususiyatlari punktuatsion qarorlarning kontekstga bog‘liqligini kuchaytiradi. Shu asosda punktuatsiyani tiklash tokenlar orasidagi chegaralarda tegishli punktuatsion sinfni aniqlash vazifasi sifatida modellashtiriladi. Transformer va CRF modellarining uyg‘unligi kontekstual hamda ketma-ketlik xususiyatlarini hisobga olish imkonini beradi, yakuniy qaror Viterbi algoritmi orqali olinadi. Manbadagi tajriba ma’lumotlariga ko‘ra, o‘quv to‘plami 1 379 986 token, validatsiya to‘plami 179 371 token, news-test 87 721 token, reference-test 6 821 so‘z va ASR-test 6 417 so‘zni qamrab oladi. ASR sharoitida WER 14,8 foizni tashkil etadi. Tezisda manbada berilmagan model natijalari sun’iy ravishda kiritilmaydi. Kalit so‘zlar: o‘zbek tili, punktuatsiya, punktuatsion birlik, kompyuter lingvistikasi, korpus lingvistikasi, Transformer, CRF, Viterbi, ASR, sintaksis, semantika, pragmatika. Аннотация. В настоящих тезисах кратко анализируется проблема автоматического восстановления пунктуации в узбекском языке с позиций лингвистики и компьютерной лингвистики. Пунктуационные знаки рассматриваются не только как графические разделители, но и как лингвистические средства, выражающие синтаксическую структуру, смысловые отношения и коммуникативную цель высказывания. Агглютинативная природа узбекского языка, информационная нагрузка грамматических форм и особенности структуры предложения усиливают контекстуальную зависимость пунктуационных решений. На этой основе восстановление пунктуации моделируется как задача определения соответствующего пунктуационного класса на границах между токенами. Сочетание моделей Transformer и CRF позволяет учитывать как контекстуальные, так и последовательностные характеристики, а окончательное решение определяется с помощью алгоритма Витерби. Согласно экспериментальным данным источника, обучающая выборка включает 1 379 986 токенов, валидационная выборка — 179 371 токен, news-test — 87 721 токен, reference-test — 6 821 слово, а ASR-test — 6 417 слов. В условиях ASR показатель WER составляет 14,8 %. В тезисах не приводятся искусственно сформированные результаты модели, отсутствующие в исходном источнике. Ключевые слова: узбекский язык, пунктуация, пунктуационная единица, компьютерная лингвистика, корпусная лингвистика, Transformer, CRF, Витерби, ASR, синтаксис, семантика, прагматика. Abstract. This thesis provides a brief analysis of the problem of automatic punctuation restoration in the Uzbek language from the perspectives of linguistics and computational linguistics. Punctuation marks are interpreted not merely as graphic separators, but also as linguistic means that express syntactic structure, semantic relations, and the communicative purpose of an utterance. The agglutinative nature of Uzbek, the information load of grammatical forms, and the structural characteristics of sentences increase the contextual dependence of punctuation decisions. On this basis, punctuation restoration is modeled as the task of determining an appropriate punctuation class at token boundaries. The combination of Transformer and CRF models makes it possible to account for both contextual and sequential characteristics, while the final decision is determined using the Viterbi algorithm. According to the experimental data provided in the source, the training set contains 1,379,986 tokens, the validation set contains 179,371 tokens, the news-test set contains 87,721 tokens, the reference-test set contains 6,821 words, and the ASR-test set contains 6,417 words. Under ASR conditions, the WER is 14.8%. The thesis does not introduce artificially generated model results that are not reported in the original source. Keywords: Uzbek language, punctuation, punctuation unit, computational linguistics, corpus linguistics, Transformer, CRF, Viterbi algorithm, ASR, syntax, semantics, pragmatics

Hali tarjima qilinmagan