Statistical language models of Lithuanian based on word clustering and morphological decomposition

Direct Link:
Collection:
Mokslo publikacijos / Scientific publications
Document Type:
Straipsnis / Article
Language:
Anglų kalba / English
Title:
Statistical language models of Lithuanian based on word clustering and morphological decomposition
Alternative Title:
Statistiniai lietuvių kalbos modeliai, pagrįsti žodžių klasterizacija ir žodžių morfologiniu išskaidymu
In the Journal:
Informatica. 2004, vol. 15, no. 4, p. 565-580
Keywords:
LT
Fleksijos; I nterpoliacija; Interpoliacija; Kalbos modeliai; Morfologija; N - gramos; N-gramos; Neaprėptas žodynas; Statistiniai modeliai; Žodžių klasteriai.
EN
Class - based models; Class-based models; Inflections; Interpolation; Language models; Morphology; N-grams; Out-of-vocabulary words.
Summary / Abstract:

LTŠiame straipsnyje pateikti lietuvių kalbos statistinio modeliavimo tyrimai. Darbe išnagrinėti du būdai, kuriais įmanoma pagerinti smarkiai kaitomos Lietuvių kalbos n-gramos tipo statistinius modelius: kalbos žodžių grupavimas į klasterius ir morfologinis žodžių skaidymas į sudedamąsias dalis. Tyrimo metu žodžiai, žodžių pagrindinės formos, ir žodžių kalbos dalies žymės buvo automatiškai grupuojamos į 50–5000 klasterių. Panaudojant 85 mln. žodžių apimties lietuvių kalbos tekstyną, buvo sukurti ir įvertinti keletas skirtingų 3-gramos ir 4-gramos tipo statistinių modelių, panaudojančių informaciją apie žodžių klasterius. Modeliai, panaudojantys žodžių klasterius tiesiškai interpoliuoti su įprastu 3-gramos tipo modeliu sumažino lietuvių kalbos modelio maišatį 13%. Morfologiniai modeliai sumažino neaprėpto žodyno dydį nuo 1,5% iki 1,02%. [Iš leidinio]

ENThis paper describes our research on statistical language modeling of Lithuanian. The idea of improving sparse n-gram models of highly inflected Lithuanian language by interpolating them with complex n-gram models based on word clustering and morphological word decomposition was investigated. Words, word base forms and part-of-speech tags were clustered into 50 to 5000 automatically generated classes. Multiple 3-gram and 4-gram class-based language models were built and evaluated on Lithuanian text corpus, which contained 85 million words. Class-based models linearly interpolated with the 3-gram model led up to a 13% reduction in the perplexity compared with the baseline 3-gram model. Morphological models decreased out-of-vocabulary word rate from 1.5% to 1.02%. [From the publication]

ISSN:
0868-4952
Related Publications:
Permalink:
https://www.lituanistika.lt/content/19782
Updated:
2021-03-17 17:10:35
Metrics:
Views: 76
Export: