Mashinali o‘qitish algoritmlari asosida o‘zbek tili matnlaridagi imlo xatolarini aniqlash va tuzatish
Annotatsiya
Ushbu tadqiqotda o‘zbek tili matnlaridagi imlo xatolarni aniqlash va tuzatish muammosi ko‘rib chiqiladi. O‘zbek tilining murakkab morfologik tuzilishi va agglutinativ xususiyatlari tufayli an’anaviy imlo xatolarni tekshirish usullari yetarli natija bermaydi. Shuning uchun ushbu ishda Levenshteyn masofasi algoritmi yordamida so‘z o‘xshashligini hisoblash va neyron tarmoqlarga asoslangan til modellari orqali kontekstual tuzatish mexanizmlari ishlab chiqildi. Til modeli sifatida KenLM (statistik til modeli), LSTM (Long Short-Term Memory) va BiLSTM (Bidirectional LSTM) yondashuvlari qo‘llanildi. Modelni o‘qitish uchun 80 million so‘zdan iborat matn korpusi yig‘ildi va tahlil qilindi. Test natijalari shuni ko‘rsatdiki, BiLSTM modeli imlov xatolarni tuzatishda eng yuqori samaradorlikni (90.09%) ta’minladi, LSTM modeli esa 84.62% natijani qayd etdi. KenLM modelidan foydalangan holda esa samaradorlik 62.31% ni tashkil etdi.