Detailanzeige
Aufsatz (Zeitschrift) zugänglich unter
URN: urn:nbn:de:0111-pedocs-305094
DOI: 10.25656/01:30509; 10.31244/jero.2023.01.02
URN: urn:nbn:de:0111-pedocs-305094
DOI: 10.25656/01:30509; 10.31244/jero.2023.01.02
| Originaltitel |
Papier- oder computerbasierte Kompetenztests? Eine Generalisierbarkeitsstudie zu Moduseffekten in Deutschland im Rahmen von TIMSS 2019 |
|---|---|
| Paralleltitel | Paper- or computer-based achievement tests? A generalizability study on mode effects in Germany in the context of TIMSS 2019 |
| Autoren |
Jentsch, Armin  ;
Beese, Christin  ;
Schwippert, Knut |
| Originalveröffentlichung | Journal for educational research online 15 (2023) 1, S. 30-49  |
| Dokument | Volltext (586 KB) |
| Lizenz des Dokumentes |
|
| Schlagwörter (Deutsch) | Kompetenz; Kompetenzmessung; Schülerleistung; Leistungsmessung; Computerunterstütztes Verfahren; Analoges System; Effekt; Theorie; Verallgemeinerung; Validität; TIMSS <Third International Mathematics and Science Study>; Erhebungsmethode; Testmethodik; Studie; Deutschland |
| Teildisziplin | Empirische Bildungsforschung Schulpädagogik |
| Dokumentart | Aufsatz (Zeitschrift) |
| ISSN | 1866-6671; 0012-0731; 18666671; 00120731 |
| Sprache | Deutsch |
| Erscheinungsjahr | 2023 |
| Begutachtungsstatus | Peer-Review |
| Abstract (Deutsch): | Die zunehmende Digitalisierung in Deutschland ist insbesondere in den Lernumwelten von Schüler:innen zu beobachten. So haben auch Schulvergleichsuntersuchungen zuletzt von papier- auf computerbasierte Tests umgestellt. In TIMSS 2019 wurde diese Umstellung durch eine Moduseffektstudie begleitet. An dieser Studie nahmen 2 Jahre vor der Haupterhebung 847 Viertklässler:innen teil und bearbeiteten nach dem Zufallsprinzip entweder zuerst den papier- oder den computerbasierten Kompetenztest in Mathematik und den Naturwissenschaften. Der Beitrag geht der Frage nach, inwieweit der Lösungserfolg bei der Aufgabenbearbeitung vom Erhebungsmodus abhängt. Die Verfasser*innen führen dazu erstens eine Generalisierbarkeitsstudie durch und bestimmen den Anteil der Varianz in den Schüler:innenantworten, der auf Moduseffekte zurückgeht. Zweitens wird untersucht, ob die Zusammenhänge zwischen schwierigkeitsgenerierenden Merkmalen der Testaufgaben und dem Lösungserfolg der Schüler:innen von Moduseffekten betroffen sind. Die Ergebnisse zeigen, dass die Erfassung der Schüler:innenkompetenzen in beiden Domänen mit kleinen Moduseffekten einhergeht. Der Lösungserfolg ist in den computerbasierten Leistungstests etwas niedriger (Mathematik: OR = 0.87, p = .006; Naturwissenschaften: OR = 0.86, p = .006). In Mathematik gilt dies besonders für Aufgaben in den Bereichen Daten und Problemlösen, für die Naturwissenschaften lässt sich keine entsprechende Aussage treffen. Die Bedeutsamkeit dieser Befunde für Schulvergleichsuntersuchungen und die unterrichtliche Praxis in Deutschland wird im Beitrag kritisch diskutiert. (DIPF/Orig.) |
| Abstract (Englisch): | The increasing digitization in Germany can be observed particularly in students’ learning environments. Large-scale assessments have also recently switched from paper-based to computer-based tests. In TIMSS 2019, this change was accompanied by a mode effect study 2 years before the main survey. In this study, 847 fourth-graders were randomly assigned to take either the paper-based or the computer-based achievement test in mathematics and science first. In this paper, we address the question to what extent student achievement depends on the survey mode. We firstly conduct a generalizability study to assess the amount of variance in item responses that is explained by mode effects. Secondly, we investigate how much the relations between difficulty-generating characteristics of the test items and student achievement differ by mode. The results show that the assessment of student achievement in both domains is affected by small mode effects. In the computer-based tests, student achievement is estimated to be slightly lower (mathematics: OR = 0.87, p = .006; science: OR = 0.86, p = .006). In mathematics, this holds true for items addressing data and problem-solving in particular. For science, we cannot make a similar claim. In the paper, the relevance of these findings for large-scale assessments and educational practice in Germany is critically discussed. (DIPF/Orig.) |
| weitere Beiträge dieser Zeitschrift | Journal for educational research online Jahr: 2023 |
| Statistik |  Anzahl der Zugriffe auf dieses Dokument
|
| Prüfsummen | Prüfsummenvergleich als Unversehrtheitsnachweis |
| Eintrag erfolgte am | 18.07.2024 |
| Quellenangabe | Jentsch, Armin; Beese, Christin; Schwippert, Knut: Papier- oder computerbasierte Kompetenztests? Eine Generalisierbarkeitsstudie zu Moduseffekten in Deutschland im Rahmen von TIMSS 2019 - In: Journal for educational research online 15 (2023) 1, S. 30-49 - URN: urn:nbn:de:0111-pedocs-305094 - DOI: 10.25656/01:30509; 10.31244/jero.2023.01.02 |
Inhalt auf sozialen Plattformen teilen
Teile diese Seite:
