Statistical language models of Lithuanian based on word clustering and morphological decomposition

LTŠiame straipsnyje pateikti lietuvių kalbos statistinio modeliavimo tyrimai. Darbe išnagrinėti du būdai, kuriais įmanoma pagerinti smarkiai kaitomos Lietuvių kalbos n-gramos tipo statistinius modelius: kalbos žodžių grupavimas į klasterius ir morfologinis žodžių skaidymas į sudedamąsias dalis. Tyrimo metu žodžiai, žodžių pagrindinės formos, ir žodžių kalbos dalies žymės buvo automatiškai grupuojamos į 50–5000 klasterių. Panaudojant 85 mln. žodžių apimties lietuvių kalbos tekstyną, buvo sukurti ir įvertinti keletas skirtingų 3-gramos ir 4-gramos tipo statistinių modelių, panaudojančių informaciją apie žodžių klasterius. Modeliai, panaudojantys žodžių klasterius tiesiškai interpoliuoti su įprastu 3-gramos tipo modeliu sumažino lietuvių kalbos modelio maišatį 13%. Morfologiniai modeliai sumažino neaprėpto žodyno dydį nuo 1,5% iki 1,02%.

ENThis paper describes our research on statistical language modeling of Lithuanian. The idea of improving sparse n-gram models of highly inflected Lithuanian language by interpolating them with complex n-gram models based on word clustering and morphological word decomposition was investigated. Words, word base forms and part-of-speech tags were clustered into 50 to 5000 automatically generated classes. Multiple 3-gram and 4-gram class-based language models were built and evaluated on Lithuanian text corpus, which contained 85 million words. Class-based models linearly interpolated with the 3-gram model led up to a 13% reduction in the perplexity compared with the baseline 3-gram model. Morphological models decreased out-of-vocabulary word rate from 1.5% to 1.02%.

• Kalbotyra / Linguistics
• Literatūrologija / Literary Studies