The Influence of item-stem format and item-answer format on the results for selected items in TIMSS 2003

LTStraipsnyje pristatomi 2003 metų TIMSS tyrimo duomenys, kuriame atsispindi Lietuvos aštuntų klasių mokinių matematinio raštingumo pasiekimai. Analizuojami 806 mokinių pasiekimų duomenys iš 150 mokyklų. Visos TIMSS 2003 tyrime dalyvavusios mokyklos atrinktos atsitiktiniu būdu. Tyrimo metu surinkta daug vertingos informacijos apie Lietuvos mokinių matematikos ir gamtos mokslų žinių lygį, gebėjimus, šių mokomųjų dalykų mokymo metodus, mokytojų patirtį, mokyklos ir namų aplinkos įtaką mokymosi rezultatams. Mokinių žinių bei gebėjimų tyrimui skirtos užduotys buvo išdėstytos testų sąsiuviniuose. Testus parengė tyrime dalyvaujančių šalių deleguotų atitinkamų sričių ekspertai. Testai buvo sudaryti iš įvairių rūšių klausimų: vienuose siūloma pasirinkti vieną iš pateiktų atsakymų, kituose – išspręsti užduotį ar atsakyti į atvirą klausimą. Siekiant objektyviai interpretuoti rezultatus, buvo tiriama socialinės, edukacinės aplinkos įtaka mokymosi pasiekimams. Kadangi skirtingi atsakymų tipai turi savo privalumus ir trūkumus, svarbu žinoti, kokį poveikį jie turi atsakymams (rezultatams) ir kokią įtaką daro mokiniams. Tiriamieji, atsakinėdami į atviruosius klausimus, susidurdavo su didesniais sunkumais nei atsakinėdami į uždaruosius. Todėl jie dažniau praleidinėdavo klausimus be pasirenkamų atsakymų variantų. Atsakant į atvirus klausimus, mažiau tikėtina, kad bus gautas tam tikras klaidingas atsakymas, nei atsakant pasirinkus vieną iš galimų atsakymų.Reikšminiai žodžiai: Alternatyvių pasirinkimų formatas; Atsakymų formatas; Atviras atsakymų formatas; Atviro tipo užduotys; Edukologinis tyrimas; Matematika; TIMSS; Užduotys su pasirenkamaisiais atsakymais; Educational research; Format of answer; Mathematics; Multiple choice format; Multiple-choise answer format items; Open ended format; Open-ended answer format items; TIMSS.

ENThis paper considers the influence of the stem format and answer format of survey items on the responses (results) for those items. The items referred to in this analysis are from TIMSS 2003, conducted by the International Association for the Evaluation of Educational Achievement (IEA). The analysis focuses on the national test booklets completed by 806 Grade 8 students (from 150 schools) in Lithuania. In TIMSS 2003, Lithuania added two national booklets for mathematics, in which the TIMSS items were changed in a way that made it possible to examine the effect of the stem and answer format of an item on the results for that item. The analysis showed that Lithuanian Grade 8 students were significantly better at solving multiple-choice answer format items than open-ended answer format items. They also were less likely to omit multiple-choice than open-ended items. No difference was found in these regards between the genders. The analysis also showed that the distracters given in multiple-choice answer format items influenced students' choice of answer. When students were presented with exactly the same items but without the answers, considerably fewer of them gave the answers given in the distracters. The hypothesis that formulating the stems of the TIMSS items more in "Lithuanian style" would help students solve the items was discounted. However, in general, the wording of the stem item did affect the answers to (the results of) the item. [text from author]