KONTEKSTGA BOG'LIQ VEKTORLASHTIRISH VA KONVOLYUTSION NEYRON TARMOQQA ASOSLANGAN MATNLI AXBOROTLARNI TASNIFLASH MODELI
Abstract
Mazkur ishda qisqa hajmdagi matnli axborotlarni avtomatik tasniflash masalasi ko'rib chiqilgan. Zamonaviy axborot tizimlarida qisqa matnlar hajmining keskin ortishi ularni samarali va aniqlik bilan qayta ishlashni talab etadi. An'anaviy statistik usullar matndagi chuqur mazmuniy bog'lanishlarni to'liq ifodalay olmasligi sababli, ushbu ishda statistik va mazmuniy belgilarni birgalikda hisobga oluvchi yangi yondashuv taklif etiladi. Ushbu tadqiqotda transformer asosidagi kontekstga bog'liq til modeli, konvolyutsion neyron tarmoq va ikki yo'nalishli eshiklangan rekurrent neyron tarmoqqa asoslangan integratsiyalashgan BERT–CNN–BiGRU modeli taklif etiladi.Taklif etilgan model oldindan tayyorlangan til modeli yordamida matndagi so'zlarning kontekstga bog'liq vektor ifodalarini hosil qiladi. Statistik belgi sifatida so'zlarning muhimlik darajasini ifodalovchi og'irliklangan e'tibor mexanizmi qo'llaniladi. Mahalliy mazmuniy belgilar ketma-ketlikdagi yaqin so'zlar o'rtasidagi bog'lanishlarni aniqlash orqali olinadi, umumiy mazmuniy belgilar esa matn bo'ylab uzoq masofali bog'lanishlarni o'rganish orqali shakllantiriladi. Ushbu belgilar birlashtirilib, yakuniy tasniflash amalga oshiriladi. Tajribaviy natijalar taklif etilgan yondashuv qisqa matnlarni tasniflashda yuqori aniqlik va barqarorlikka ega ekanligini ko'rsatadi.