details
Article (journal) accessible via
URN: urn:nbn:de:0111-pedocs-290595
DOI: 10.25656/01:29059; 10.31244/jero.2022.02.01
URN: urn:nbn:de:0111-pedocs-290595
DOI: 10.25656/01:29059; 10.31244/jero.2022.02.01
| Original Title |
VERA fair-bessern. Ein Vergleich von Strategien zur Berücksichtigung von Kontextbedingungen bei schulischen Vergleichsarbeiten |
|---|---|
| Parallel title | Improving comparative performance tests. A comparison of procedures to adjust test scores for school context |
| Author |
Schult, Johannes  |
| Source | Journal for educational research online 14 (2022) 2, S. 3-24  |
| Document | full text (1.491 KB) |
| License of the document |
|
| Keywords (German) | Vergleichsarbeit; Vergleichende Bildungsforschung; Schule; Fairness; Heterogenität; Lernstandserhebung; Empirische Forschung; Kompetenzmessung; Mittelwert; Baden-Württemberg; Deutschland |
| sub-discipline | Empirical Educational Research Curriculum and Teaching / School Pedagogy |
| Document type | Article (journal) |
| ISSN | 1866-6671; 18666671 |
| Language | German |
| Year of creation | 2022 |
| review status | Peer-Reviewed |
| Abstract (German): | Um spezifische Schul- und Unterrichtseffekte abzuschätzen, werden in Lernstandserhebungen wie VERA (VERgleichsArbeiten) neben dem Landesmittelwert häufig adjustierte Schulwerte für einen fairen Vergleich rückgemeldet. Dabei wird als Vergleichswert die Leistung ähnlicher Schulen berechnet, um Einflüsse zu berücksichtigen, die jenseits des Handlungsspielraums der Lehrkräfte und Schulleitungen liegen. Zu den Adjustierungsstrategien gehören die Vergleiche mit Subgruppenmittelwerten, mit ähnlichen existierenden Schulen und mit modellbasierten Erwartungswerten. Anhand zweier Vollerhebungen von VERA 3 (je über 2300 Schulen) und VERA 8 (je über 1200 Schulen) in Baden-Württemberg aus den Jahren 2019 und 2021 wurden die Adjustierungsstrategien hinsichtlich ihrer Fairness (Determinationskoeffizient R²) und Standardfehler miteinander verglichen. Kontextvariablen waren dabei Geschlecht, Alltagssprache, Migrationshintergrund, soziokulturelles Kapital sowie zusätzlich bei VERA 8 Schulart und Vorwissen. Die modellbasierten Erwartungswerte zeigten fächerübergreifend die größten R²-Werte und die kleinsten Standardfehler. Dieser Fairness-Vorsprung geht dabei nicht zulasten der Testökonomie, denn die verwendeten Kontextvariablen werden für jede Adjustierungsstrategie benötigt. Die Ergebnisse zeigen zudem, dass die Heterogenität der Testleistungen stark vom sozialen Kontext abhängt. Vor diesem Hintergrund kann VERA mit der Rückmeldung des fairen Vergleichs ein hilfreicher Baustein für die datenbasierte Unterrichts- und Schulentwicklung sein. (DIPF/Orig.) |
| Abstract (English): | In order to estimate specific effects of schooling and instruction, state-wide proficiency tests like VERA (VERgleichsArbeiten) often report not only the state’s mean score, but also an adjusted school score for a so-called fair comparison. The average performance of similar schools is estimated for the fair comparison with the aim of controlling for influences that lie outside the latitude of teachers and school management. Adjustment strategies include comparisons with subgroup mean scores, mean scores of similar existing schools, and model-based expected values. Using the large-scale assessments VERA 3 (over 2300 schools) and VERA 8 (over 1200 schools) in Baden-Württemberg from 2019 and 2021, adjustment strategies were compared with regard to their fairness (coefficient of determination R²) and standard errors. Variables for contextualization were gender, everyday language, migration background, socio-cultural capital, and, additionally in VERA 8, type of school and previous knowledge. Model-based expected values yielded the largest R² values and the smallest standard errors across all subjects. This advantage in terms of fairness is not to the disadvantage of the test efficiency, because the context variables are needed for every adjustment strategy. The results also show that the heterogeneity of test performances is considerably influenced by the social context. Against this backdrop, VERA featuring a fair comparison feedback can be a helpful element for school development. (DIPF/Orig.) |
| other articles of this journal | Journal for educational research online Jahr: 2022 |
| Statistics |  Number of document requests
|
| Checksums | checksum comparison as proof of integrity |
| Date of publication | 13.03.2024 |
| Citation | Schult, Johannes: VERA fair-bessern. Ein Vergleich von Strategien zur Berücksichtigung von Kontextbedingungen bei schulischen Vergleichsarbeiten - In: Journal for educational research online 14 (2022) 2, S. 3-24 - URN: urn:nbn:de:0111-pedocs-290595 - DOI: 10.25656/01:29059; 10.31244/jero.2022.02.01 |
share content at social platforms
Teile diese Seite:
