details
Article (journal) accessible via
URN: urn:nbn:de:0111-pedocs-353109
DOI: 10.25656/01:35310; 10.2440/003-0048
URN: urn:nbn:de:0111-pedocs-353109
DOI: 10.25656/01:35310; 10.2440/003-0048
| Original Title |
The power of randomization tests to detect individual intervention effects. Insights from a Monte Carlo study |
|---|---|
| Parallel title | Die Teststärke von Randomisierungstests zur Identifikation intraindividueller Interventionseffekte. Erkenntnisse aus einer Monte-Carlo-Studie |
| Authors |
Wilbert, Jürgen   ;
Börnert-Ringleb, Moritz ;
Lüke, Timo |
| Source | Empirische Sonderpädagogik 17 (2025) 3, S. 184-199  |
| Document | full text (3.410 KB) |
| License of the document |
|
| Keywords (German) | Sonderpädagogik; Empirische Untersuchung; Randomisierung; Test; Intervention; Effekt; Monte-Carlo-Methode; Fallmethode; Interventionsstudie |
| sub-discipline | Empirical Educational Research Special Education |
| Document type | Article (journal) |
| ISSN | 1869-4845; 1869-4934; 18694845; 18694934 |
| Language | English |
| Year of creation | 2025 |
| review status | Peer-Reviewed |
| Abstract (English): | Despite an overall agreement on the usefulness of single-case experimental designs (SCED), there is no consensus on the most suitable approach to analyzing the resulting single-case data. Previous research indicates that reliable and rigorous analysis methods in SCED are crucial for the sensitivity, specificity, and robustness of subsequent inferences on the effectiveness of interventions. Among others, randomization tests depict a promising approach to data analysis, which received less attention in research and practice than more popular analytical approaches. So far, no clear picture of the exact conditions under which randomization tests yield high statistical power and low alpha-error rates has emerged. In the present paper, we applied several Monte Carlo studies to scrutinize the influence of various design conditions on the sensitivity and specificity of a randomization test for detecting meaningful within-person changes. We focused on the number of measurement times of each phase, the size of the intervention effect, the reliability of the measurements, the trend effect, and the number of cases in multiple-case designs. The results of our study demonstrate that a) the power of randomization tests for analyzing single-case data is high and the alpha error rate is low when cases have at least ten measurements in Phase A and the intervention effect is large, b) randomization tests are robust against data trends, and c) multiple-case designs rapidly increase the power, allowing even for minimal designs with 15 or fewer measurements. (DIPF/Orig.) |
| Abstract (German): | Trotz eines breiten Konsenses über die Nützlichkeit von Einzelfall-Experimentaldesigns (Single-Case Experimental Designs, SCED) besteht bislang keine Einigkeit über den am besten geeigneten Ansatz zur Analyse der dabei entstehenden Einzelfalldaten. Frühere Forschung zeigt, dass verlässliche und methodisch stringente Analysemethoden in SCED entscheidend für die Sensitivität, Spezifität und Robustheit der Schlussfolgerungen zur Wirksamkeit von Interventionen sind. Unter den möglichen Verfahren stellen Randomisierungstests einen vielversprechenden Analyseansatz dar, der in Forschung und Praxis bislang weniger Beachtung gefunden hat. Bisher fehlte jedoch ein klares Bild der Bedingungen, unter denen Randomisierungstests eine hohe Teststärke (Power) und niedrige α-Fehler-Raten aufweisen. In der vorliegenden Arbeit wurden mehrere Monte-Carlo-Studien durchgeführt, um den Einfluss verschiedener Designbedingungen auf die Sensitivität und Spezifität eines Randomisierungstests zur Erkennung bedeutsamer intraindividueller Veränderungen zu untersuchen. Im Fokus standen dabei die Anzahl der Messzeitpunkte je Phase, die Größe des Interventionseffekts, die Reliabilität der Messungen, Trendverläufe sowie die Fallzahl in Mehrfälledesigns. Die Ergebnisse zeigen, dass (a) die Power von Randomisierungstests zur Analyse von Einzelfalldaten hoch und die α-Fehler-Rate gering ist, wenn pro Phase mindestens zehn Messungen vorliegen und der Interventionseffekt groß ist, (b) Randomisierungstests robust gegenüber Datentrends sind und (c) Designs mit mehreren Fällen die Power deutlich erhöhen, sodass selbst Minimaldesigns mit 15 oder weniger Messungen aussagekräftig werden. (DIPF/Orig.) |
| other articles of this journal | Empirische Sonderpädagogik Jahr: 2025 |
| Statistics |  Number of document requests
|
| Checksums | checksum comparison as proof of integrity |
| Date of publication | 07.05.2026 |
| Citation | Wilbert, Jürgen; Börnert-Ringleb, Moritz; Lüke, Timo: The power of randomization tests to detect individual intervention effects. Insights from a Monte Carlo study - In: Empirische Sonderpädagogik 17 (2025) 3, S. 184-199 - URN: urn:nbn:de:0111-pedocs-353109 - DOI: 10.25656/01:35310; 10.2440/003-0048 |
share content at social platforms
Share this page:
