Score calculation in informatics contests using multiple criteria decision methods

LTLietuvos mokinių informatikos olimpiados yra algoritmų kūrimo ir programavimo konkursas, skirtas mokiniams. Kiekvienas pateiktas sprendimas yra vertinamas pagal keletą kriterijų, o kiekvienas kriterijus matuojamas pagal atskirą skalę. Vertinimas pagal vienus kriterijus atliekamas automatizuotai, pagal kitus – ne automatiniu būdu. Vertina keli vertintojai, kurie parenka vertinimo kriterijų svorius bei atlieka ne automatinį vertinimą. Tačiau kiekvienas vertintojas gali turėti skirtingą požiūrį į tai, koks turėtų būti konkretaus kriterijaus svoris ir koks turėtų būti konkretaus sprendimo įvertis vieno ar kito kriterijaus atžvilgiu. Straipsnyje, taikant daugiakriterių sprendimų teoriją, sprendžiamas klausimas kaip gauti galutinius agreguotus vertinimui pateiktų darbų įverčius. Taip pat analizuojama vertės matavimo teorija ir nagrinėjamas problemai spręsti siūlomas svorinio sumavimo metodo išplėtimas, kuris gautas sujungus grupinių sprendimų palaikymo algoritmą su S.J. Chen pasiūlytu metodu.

ENThe Lithuanian Informatics Olympiad is a problem solving contest for high school students. The work of each contestant is evaluated in terms of several criteria, where each criterion is measured according to its own scale (but the same scale for each contestant). Several jury members are involved in the evaluation. This paper analyses the problem how to calculate the aggregated score for whole submission in the above mentioned situation. The chosen methodology for solving this problem is Multiple Criteria Decision Analysis (MCDA). The outcome of this paper is the score aggregation method proposed to be applied in LitIO developed using MCDA approaches.