details
Article (journal) accessible via
URN: urn:nbn:de:0111-pedocs-361771
DOI: 10.25656/01:36177; 10.1007/s42010-026-00242-2
URN: urn:nbn:de:0111-pedocs-361771
DOI: 10.25656/01:36177; 10.1007/s42010-026-00242-2
| Original Title |
The relationship between AI-chatbots use, student assessment performance and learning outcomes in higher education |
|---|---|
| Parallel title | Zusammenhänge zwischen der Nutzung von KI-Chatbots und den Test- sowie Lernergebnissen von Studierenden im Hochschulbereich |
| Authors |
Molerov, Dimitri;
Federiakin, Denis  ;
Zlatkin-Troitschanskaia, Olga  ;
Shenavai, Kevin;
Trierweiler, Lukas ;
Nagel, Marie-Theres |
| Source | Unterrichtswissenschaft 54 (2026) 3, S. 325-356  |
| Document | full text (583 KB) |
| License of the document |
|
| Keywords (German) | Hochschulbildung; Student; Künstliche Intelligenz; Chatbot; Testergebnis; Lernergebnis; Nutzung; Kritisches Denken; Längsschnittuntersuchung |
| sub-discipline | Empirical Educational Research Higher Education |
| Document type | Article (journal) |
| ISSN | 0340-4099; 2520-873X; 03404099; 2520873X |
| Language | English |
| Year of creation | 2026 |
| review status | Peer-Reviewed |
| Abstract (English): | In this study in German higher education, we draw on the first panel of dataset from a longitudinal assessment of domain-specific (DOM) Critical Online Reasoning (COR) in economics in the winter terms 2023/24 (t0) and 2024/25 (t1). DOM-COR tasks were completed as a digital assessment, combining open web search, information evaluation, and reasoning to solve domain-specific scenarios. For this, many students used Artificial Intelligence (AI) chatbots employing Large Language Models (LLMs). This offered a natural quasi-experiment in a real-life learning setting to compare students’ DOM-COR performance with and without LLMs. Students also reported on LLM-tools use for study and everyday purposes as well as on their learning outcomes (e.g., credit points, exams). This study investigates both the relationships between LLM-tools use and students DOM-COR assessment performance as well as their learning outcomes at universities. We explicitly distinguish between the qualitative indicators of learning and the speed thereof in the context of LLM-chatbots use. By comparing the time students spent completing DOM-COR tasks and their performance between LLM-users and non-users, we examine if, and to what extent, LLM-users had an advantage. While LLM-users were faster, they did not perform better on written task responses. The relationships with learning outcomes trend in the same direction, indicating that regular LLM-users passed more exams, but did not appear to achieve better grades. The findings point to opportunities and risks when using LLM for domain-specific COR-like tasks as well as for regular study assignments. (DIPF/Orig.) |
| Abstract (German): | Diese Studie basiert auf einer längsschnittlichen Untersuchung des kritischen Online-Denkens (Critical Online Reasoning, COR) in der Ökonomie (DOM-COR) im Wintersemester 2023/24 (t0) und 2024/25 (t1). Die DOM-COR Aufgaben wurden im digitalen Assessment bearbeitet und kombinierten offene Websuche, Informationsbewertung und Argumentation, um domänenspezifische Szenarien zu lösen. Mehrere Studierende verwendeten Chatbots mit künstlicher Intelligenz (KI), die Large Language Models (LLMs) einsetzen, um die Aufgaben zu lösen. Diese Situation bot ein ‚natürliches Quasi-Experiment‘ in den realen Lernsettings, um die Leistung der Studierenden bei DOM-COR Aufgaben ohne und mit Nutzung von LLMs zu vergleichen. Zudem berichteten die Studierenden über die regelmäßige Nutzung von KI-Tools für Studien- und Alltagszwecke sowie ihre Lernergebnisse (z. B. ECTS, Prüfungen). Diese Studie untersucht die Zusammenhänge zwischen der Nutzung von KI-Tools und den DOM-COR-Leistungen der Studierenden sowie ihren Lernergebnissen an Universitäten. Dabei unterscheiden wir explizit zwischen den qualitativen Indikatoren des Lernens und der Geschwindigkeit des Lernens im Zusammenhang mit der Verwendung von LLM-Chatbots. Insbesondere durch den Vergleich der Bearbeitungszeit und der Leistung der Studierenden untersuchen wir, ob und inwieweit LLM-Nutzer:innen im Vorteil waren. Während LLM-Nutzer:innen schneller waren, erzielten sie jedoch bei den schriftlichen Aufgabenlösungen keine (signifikant) besseren Ergebnisse. Die Zusammenhänge mit den Lernergebnissen weisen in die gleiche Richtung: LLM-Nutzer:innen absolvierten zwar mehr Prüfungen, erzielten aber offenbar keine besseren Noten. Die Befunde deuten auf Chancen und Risiken hin, die sich aus der Nutzung von LLMs bei COR-ähnlichen Aufgaben sowie im Zusammenhang mit Lernergebnissen abzeichnen. (DIPF/Orig.) |
| other articles of this journal | Unterrichtswissenschaft Jahr: 2026 |
| Statistics |  Number of document requests
|
| Checksums | checksum comparison as proof of integrity |
| Date of publication | 28.08.2026 |
| Citation | Molerov, Dimitri; Federiakin, Denis; Zlatkin-Troitschanskaia, Olga; Shenavai, Kevin; Trierweiler, Lukas; Nagel, Marie-Theres: The relationship between AI-chatbots use, student assessment performance and learning outcomes in higher education - In: Unterrichtswissenschaft 54 (2026) 3, S. 325-356 - URN: urn:nbn:de:0111-pedocs-361771 - DOI: 10.25656/01:36177; 10.1007/s42010-026-00242-2 |
share content at social platforms
Share this page:
