Naujų lietuvių kalbos anotuotų tekstynų rengimas: sandaros aspektai
LTIki šiol parengti lietuvių kalbos gramatiškai anotuotų tekstynų ištekliai (morfologiškai anotuotas tekstynas MATAS, sintaksiškai anotuotas tekstynas ALKSNIS) yra nepakankamo dydžio atsižvelgiant į augančius lietuvių kalbos kompiuterizavimo poreikius. Todėl ES NextGenerationEU projekte „Morfologiškai ir sintaksiškai anotuotų tekstynų modeliai apmokymui (auksiniai standartai)“ yra rengiami du nauji tekstynai pagal tarptautinį Universal Dependencies (UD) standartą. Nauji tekstynai reprezentuos rašytinės lietuvių kalbos atmainą, todėl numatyta, kad juose, kaip ir „Dabartinės lietuvių kalbos tekstyne“ ar kituose anotuotuose tekstynuose, bus keturios dalys su tekstais iš grožinės, negrožinės (mokslinės), administracinės literatūros ir straipsniai iš internetinės periodikos. Pristačius anotuotus tekstynus MATĄ ir ALKSNĮ, tarptautinio projekto UD kitų kalbų tekstynus, šiame straipsnyje aptariami naujų rengiamų anotuotų tekstynų sandaros aspektai: pirma, aprašoma planuojama tekstynų sandara ir proporcijos, antra, diskutuojamas pirminiam tekstyno automatinės analizės etapui svarbus klausimas – tekstyno skaidymas tekstyno vienetais (TV) (angl. tokenization) ir TV (angl. token) samprata. Nors tiek lietuvių, tiek kai kurių kitų kalbų tekstynų dydis gali būti nurodomas žodžiais, vis dėlto dažniausiai tekstynų dydis matuojamas TV, nes tekstynams aktualūs vienetai yra ne tik žodžiai, bet ir kiti elementai (skyrybos ženklai, skaitmenys, trumpiniai, simboliai). Kadangi TV samprata gali skirtis priklausomai nuo kalbos, tyrėjų sprendimo, svarbu, kad konkrečios kalbos automatinės analizės įrankyne būtų aprašyta, kokios TV skaidymo strategijos buvo laikomasi. Šiame straipsnyje paaiškiname, ką laikome TV, kaip traktuojami nevienareikšmiai skaidymo TV atvejai. Keywords: lietuvių kalba,, automatinė morfologinė ir sintaksinė analizė, Universal Dependencies standartas, anotuoti tekstynai.
ENThe currently available Lithuanian grammatically annotated corpora (the morphologically annotated corpus MATAS and the syntactically annotated corpus ALKSNIS) are insufficient to meet the growing demands of Lithuanian language processing. Therefore, within the framework of the European Union’s NextGenerationEU project, “Morphologically and syntactically annotated text models for training (gold standards)”, two new corpora are being developed in accordance with the international Universal Dependencies (UD) standard. These new corpora (10 million tokens each) will represent the written variant of the Lithuanian language and, similar to the Corpus of Contemporary Lithuanian Language and other annotated corpora, they will consist of four sub-corpora containing texts from fiction, non-fiction (scientific literature), administrative texts, and online journalistic articles. Following the presentation of the annotated corpora MATAS and ALKSNIS, as well as the UD corpora of other languages, this paper discusses various aspects of the annotated corpora under development. First, the corpora structure, balance and sampling are described. Second, tokenization, essential for the automatic corpus analysis is examined, and third, the concept of token is discussed. Although corpora size can be expressed in words, it is most commonly measured in tokens (suggested Lithuanian translation: tekstyno vienetas), as corpora include not only words, but also non-words, e.g., punctuation marks, numerals, abbreviations, symbols, etc. Since the elements included under the concept of token may vary depending on the language and researchers’ decisions, the article discusses what is considered a token for Lithuanian within the boundaries of the current project.
- A Comparison of Lithuanian morphological analyzers. SD 2017: Text, speech, and dialogue: 20th international conference, Prague, Czech Republic, August 27-31, 2017: proceedings. Berlin: Springer International Publishing, 2017. P. 47-56.
- Dabartinės rašomosios lietuvių kalbos dažninis žodynas ir jo bazė. Acta linguistica Lithuanica 2002, 46, 19-37.
- "Lemuoklis" - morfologinei analizei. Darbai ir dienos 2000, 24, 245-274.
- Lietuvių kalbos morfologija atvirojo kodo Hunspell platformoje. Bendrinė kalba 2017, 90, 1 pdf (17 p.).
- Lietuvių kalbos morfologiškai ir sintaksiškai anotuoti tekstynai. Bendrinė kalba 2017, 90, 1 pdf (31 p.).
- Lithuanian dependency treebank ALKSNIS. Human language technologies - the Baltic perspective: proceedings of the 7th international conference, Baltic HLT 2016, Riga. Amsterdam: IOS Press, 2016. P. 107-114.
- Morfologinio daugiareikšmiškumo ribojimas kompiuteriniame tekstyne. Kaunas, 2006. 203 p.
- Morfologinis dabartinės lietuvių kalbos tekstyno anotavimas. Kalbų studijos 2007, 11, 30-35.
