details
Original Title |
A model for the estimation of testlet response time to optimize test assembly in paper-and-pencil large-scale assessments |
---|---|
Parallel title | Ein Modell zur Schätzung von Aufgabenbearbeitungszeiten zur Optimierung von Papier-und-Bleistift-Large-Scale-Assessments |
Authors | Hecht, Martin ; Siegle, Thilo; Weirich, Sebastian |
Source | Journal for educational research online 9 (2017) 1, S. 32-51 |
Document | full text (485 KB) |
License of the document | In copyright |
Keywords (German) | Testkonstruktion; Aufgabe; Bearbeitung; Zeit; Berechnung; Vorhersage; Schüler; Schuljahr 09; Naturwissenschaftlicher Unterricht; Naturwissenschaftliche Kompetenz; Statistische Analyse; Empirische Untersuchung; Deutschland |
sub-discipline | Empirical Educational Research |
Document type | Article (journal) |
ISSN | 1866-6671; 18666671 |
Language | English |
Year of creation | 2017 |
review status | Peer-Reviewed |
Abstract (English): | Accurate response times are essential for assembling tests in educational largescale assessment to ensure test validity and efficient testing. Because obtaining empirical response times in pilot studies is cost-intensive and also because this process is complicated in paper-and-pencil assessments, we propose a model-based approach for calculating response times from readily available testlet properties. This prediction formula was developed using the response time data of 334 high school students who worked on 93 testlets of a paper-and-pencil test measuring science achievement. A large proportion (94.3 %) of the variance in response times (i.e., the variation of the average response times of persons across testlets) was explained by number of items, number of words, and response type. Another sample of 1,386 students who worked on 125 additional science testlets was used to validate the initial findings. Overall, the proposed easy-to-use formula is suitable for providing accurate response times for test assembly at a low cost. (DIPF/Orig.) |
Abstract (German): | Akkurate Aufgabenbearbeitungszeiten stellen einen essentiellen Bestandteil der Testkonstruktion im Large-Scale-Assessment zur Gewährleistung der Testvalidität und Erhöhung der Effizienz der Testung dar. Da die Erhebung von Aufgabenbearbeitungszeiten in Papier-und-Bleistift-Tests kostenintensiv und kompliziert ist, wird ein modellbasierter Ansatz zur Berechnung der Aufgabenbearbeitungszeiten mittels leicht verfügbarer Aufgabeneigenschaften vorgeschlagen. Diese Vorhersageformel wurde mit Bearbeitungszeitdaten von 334 Schülern, die 93 Aufgaben eines Papier-und-Bleistift-Tests zur Messung von naturwissenschaftlicher Kompetenz bearbeiteten, entwickelt. Ein hoher Anteil (94.3 %) der Varianz der Aufgabenbearbeitungszeiten (d. h., der Variation der mittleren Bearbeitungszeiten von Personen über Aufgaben) wurde durch die Anzahl an Items, Anzahl an Wörtern und dem Aufgabenformat erklärt. Eine zweite Stichprobe von 1386 Schülern bearbeiteten 125 zusätzliche Naturwissenschaftsaufgaben, um die Ergebnisse zu validieren. Insgesamt erwies sich die vorgeschlagene, leicht zu verwendende Formel als geeignet, um akkurate Bearbeitungszeiten zur Testkonstruktion zu geringen Kosten zu liefern. (DIPF/Orig.) |
other articles of this journal | Journal for educational research online Jahr: 2017 |
Statistics | Number of document requests |
Checksums | checksum comparison as proof of integrity |
Date of publication | 10.04.2017 |
Citation | Hecht, Martin; Siegle, Thilo; Weirich, Sebastian: A model for the estimation of testlet response time to optimize test assembly in paper-and-pencil large-scale assessments - In: Journal for educational research online 9 (2017) 1, S. 32-51 - URN: urn:nbn:de:0111-pedocs-129659 - DOI: 10.25656/01:12965 |