Improving the evaluation model for the Lithuanian Informatics Olympiads

LTLietuvos mokinių informatikos olimpiados yra mokiniams skirtos algoritmavimo ir programavimo varžybos. Olimpiadų dalyviai vertinimui pateikia algoritmus, sprendžiančius duotą uždavinįir realizuotus veikiančiomis programomis viena iš nurodytų programavimo kalbų. Vertinant darbus, vienus aspektus (programavimo stilių, sprendimo idėjos aprašymą) vertina vertintojų komanda. Tuo tarpu pateiktų programų teisingumas ir efektyvumas vertinamas jas automatiškai testuojant su iš anksto parinktais pradinių duomenų rinkiniais. Ši vertinimo schema paremta metodiniais samprotavimais ir ilgamete tradicija, tačiau nebuvo analizuota ir pagrįsta moksliniais metodais. Siekdami pagerinti ir moksliškai pagrįsti olimpiadose naudojamą vertinimo schemą, sudarėme vertinimo modelio šabloną bei anketą ir pakvietėme dalyvauti grupę Lietuvos ir užsienio ekspertų, turinčių ilgametę patirtį organizuojant bei vertinant įvairaus lygmens algoritmavimo olimpiadose bei konkursuose. Ekspertų siūlyti vertinimo modeliai buvo dviejų tipų ir remdamiesi Lietuvos informatikos olimpiadų edukaciniais tikslais, pasirinkome vieną šių krypčių. Konstruodami vertinimo modelį stengėmės kiek galima daugiau atspindėti ekspertų pateiktus siūlymus bei idėjas. Straipsnyje plačiai aptariama dauguma ekspertų siūlomų aspektų net jei jų ir neįtraukėme į vertinimo modelį. Svarbiausias šio straipsnio rezultatas – siūlomas patobulintas sprendimų vertinimo Lietuvos informatikos olimpiadose modelis.

ENThe Lithuanian Informatics Olympiads (LitIO) is a problem solving programming contest for students in secondary education. The work of the student to be evaluated is an algorithm designed by the student and implemented as a working program. The current evaluation process involves both automated (for correctness and performance of programs with the given input data) and manual (for programming style, written motivation of an algorithm) grading. However, it is based on tradition and has not been scientifically discussed and motivated. To create an improved and motivated evaluation model, we put together a questionnaire and asked a group of foreign and Lithuanian experts having experience in various informatics contests to respond. We identified two basic directions in the suggested evaluation models and made a choice based on the goals of LitIO. While designing the model in the paper, we reflected on the suggestions and opinions of the experts as much as possible, even if they were not included into the proposed model. The paper presents the final outcome of this work, the proposed evaluation model for the Lithuanian Informatics Olympiads.