KAM RESURSLI TILLARNI RAQAMLASHTIRISHDA SUN‘IY INTELLEKT MODELLARINING SAMARADORLIGI VA MAVJUD MUAMMOLAR
Litsenziya: cc-by-sa
Annotatsiya
Ushbu maqolada kam resursli tillar, xususan, qoraqalpoq tili uchun sun’iy intellekt va tabiiy tilni qayta ishlash (NLP) modellarini ishlab chiqishdagi dolzarb muammolar tahlil qilinadi. Tadqiqotning asosiy maqsadi - ma‘lumotlar tanqisligi sharoitida model aniqligini oshirish uchun ma‘lumotlarni tozalash va normalizatsiya qilish metodikasini ishlab chiqishdir. Bunda qoraqalpoq tili o‘ziga xos harflari uchun maxsus normallashtirish algoritmlari va Byte Pair Encoding (BPE) tokenlashtirishi qo‘llanilgan. Natijalar shuni ko‘rsatdiki, taklif etilgan preprocessing usullari model xatoligini (Loss) sezilarli darajada kamaytirib, tarjima va qidiruv aniqligini (BLEU score) 12.4 dan 24.8 gacha oshirish imkonini berdi. Tadqiqot xulosalari kam resursli tillar uchun raqamli lug‘atlar va aqlli tizimlar yaratishda nazariy va amaliy asos bo‘lib xizmat qiladi.