O'ZBEK TILI MATNLARINI IDENTIFIKATSIYALASHDA NLP TEXNOLOGIYASINING EVRISTIK USULLARINI MODIFIKATSIYALASH
Annotatsiya
Ushbu maqolada o‘zbek tili matnlarini avtomatik identifikatsiyalash (til aniqlash) vazifasida an’anaviy NLP evristik usullarini zamonaviy ehtiyojlarga moslashtirish va modifikatsiyalash masalalari aniq algoritmik misollar va hisob-kitoblar asosida ko‘rib chiqiladi. O‘zbek tilining grafik-fonetik o‘ziga xosliklari, lotin va kirill alifbolarining parallel qo‘llanilishi, shuningdek arabcha va forscha leksik qatlamlari til identifikatsiyasini texnik jihatdan murakkab vazifaga aylantiradi [1]. Maqolada n-gram chastotaviy tahlil, kalit belgi lug‘ati (lexicon-based) va Dice koeffitsienti yondashuvlari modifikatsiyalanib, amaliy Python dasturi misollari bilan izohlangan. Tajribalar natijalari taklif etilgan modifikatsiyalar an’anaviy yondashuvlarga nisbatan F1-ko‘rsatkichni 7-12% ga oshirishini ko‘rsatadi.