Menu Fachportal Pädagogik DIPF | Leibniz-Institute for Internationale pedagogical Research

search

Advanced Search

Ariadne Pfad:

Inhalt

details

Article (journal) accessible via
URN:
DOI: ;
Original Title
Papier- oder computerbasierte Kompetenztests? Eine Generalisierbarkeitsstudie zu Moduseffekten in Deutschland im Rahmen von TIMSS 2019
Parallel titlePaper- or computer-based achievement tests? A generalizability study on mode effects in Germany in the context of TIMSS 2019
Authors GND-ID; ORCID; GND-ID ORCID
SourceJournal for educational research online 15 (2023) 1, S. 30-49 ZDB
Document  (586 KB)
License of the document Lizenz-Logo 
Keywords (German)Kompetenz; Kompetenzmessung; Schülerleistung; Leistungsmessung; Computerunterstütztes Verfahren; Analoges System; Effekt; Theorie; Verallgemeinerung; Validität; TIMSS <Third International Mathematics and Science Study>; Erhebungsmethode; Testmethodik; Studie; Deutschland
sub-disciplineEmpirical Educational Research
Curriculum and Teaching / School Pedagogy
Document typeArticle (journal)
ISSN1866-6671; 0012-0731; 18666671; 00120731
LanguageGerman
Year of creation
review statusPeer-Reviewed
Abstract (German):Die zunehmende Digitalisierung in Deutschland ist insbesondere in den Lernumwelten von Schüler:innen zu beobachten. So haben auch Schulvergleichsuntersuchungen zuletzt von papier- auf computerbasierte Tests umgestellt. In TIMSS 2019 wurde diese Umstellung durch eine Moduseffektstudie begleitet. An dieser Studie nahmen 2 Jahre vor der Haupterhebung 847 Viertklässler:innen teil und bearbeiteten nach dem Zufallsprinzip entweder zuerst den papier- oder den computerbasierten Kompetenztest in Mathematik und den Naturwissenschaften. Der Beitrag geht der Frage nach, inwieweit der Lösungserfolg bei der Aufgabenbearbeitung vom Erhebungsmodus abhängt. Die Verfasser*innen führen dazu erstens eine Generalisierbarkeitsstudie durch und bestimmen den Anteil der Varianz in den Schüler:innenantworten, der auf Moduseffekte zurückgeht. Zweitens wird untersucht, ob die Zusammenhänge zwischen schwierigkeitsgenerierenden Merkmalen der Testaufgaben und dem Lösungserfolg der Schüler:innen von Moduseffekten betroffen sind. Die Ergebnisse zeigen, dass die Erfassung der Schüler:innenkompetenzen in beiden Domänen mit kleinen Moduseffekten einhergeht. Der Lösungserfolg ist in den computerbasierten Leistungstests etwas niedriger (Mathematik: OR = 0.87, p = .006; Naturwissenschaften: OR = 0.86, p = .006). In Mathematik gilt dies besonders für Aufgaben in den Bereichen Daten und Problemlösen, für die Naturwissenschaften lässt sich keine entsprechende Aussage treffen. Die Bedeutsamkeit dieser Befunde für Schulvergleichsuntersuchungen und die unterrichtliche Praxis in Deutschland wird im Beitrag kritisch diskutiert. (DIPF/Orig.)
Abstract (English):The increasing digitization in Germany can be observed particularly in students’ learning environments. Large-scale assessments have also recently switched from paper-based to computer-based tests. In TIMSS 2019, this change was accompanied by a mode effect study 2 years before the main survey. In this study, 847 fourth-graders were randomly assigned to take either the paper-based or the computer-based achievement test in mathematics and science first. In this paper, we address the question to what extent student achievement depends on the survey mode. We firstly conduct a generalizability study to assess the amount of variance in item responses that is explained by mode effects. Secondly, we investigate how much the relations between difficulty-generating characteristics of the test items and student achievement differ by mode. The results show that the assessment of student achievement in both domains is affected by small mode effects. In the computer-based tests, student achievement is estimated to be slightly lower (mathematics: OR = 0.87, p = .006; science: OR = 0.86, p = .006). In mathematics, this holds true for items addressing data and problem-solving in particular. For science, we cannot make a similar claim. In the paper, the relevance of these findings for large-scale assessments and educational practice in Germany is critically discussed. (DIPF/Orig.)
other articles of this journalJournal for educational research online Jahr: 2023
StatisticsNumber of document requests Number of document requests
Checksumschecksum comparison as proof of integrity
Date of publication18.07.2024
CitationJentsch, Armin; Beese, Christin; Schwippert, Knut: Papier- oder computerbasierte Kompetenztests? Eine Generalisierbarkeitsstudie zu Moduseffekten in Deutschland im Rahmen von TIMSS 2019 - In: Journal for educational research online 15 (2023) 1, S. 30-49 - URN: urn:nbn:de:0111-pedocs-305094 - DOI: 10.25656/01:30509; 10.31244/jero.2023.01.02
export files

share content at social platforms