Zur statistischen Güte des Difficulty-Plus-Guessing PL Modells
Lists
Only you see this
Abstract
In psychologischen Leistungstests werden haufig Multiple-Choice-Items eingesetzt, ohne besonders auf das damit verbundene Problem der Ratemoglichkeit zu achten und somit darauf, dass Testpersonen relativ hohe Scores erzielen konnen, ohne uber ein entsprechendes Fahigkeitsausmas zu verfugen. Einen Losungsansatz fur dieses Problem, aus der probabilistischen Testtheorie, stellt die Anwendung des Difficulty-Plus-Guessing PL Modells (Kubinger \& Draxler, 2006) dar. Das Difficulty-Plus-Guessing PL Modell kann man dabei entweder als ein Pseudo Rasch-Modell, welches zusatzlich Rateparameter berucksichtigt, oder als ein 3PL Modell, dessen Disrkiminationsparameter einer Restriktion unterliegen, ansehen. In der vorliegenden Arbeit wurden umfangreiche Simulationen unter verschiedenen Verteilungsannahmen durchgefuhrt um sowohl die asymptotischen Eigenschaften als auch die Stabilitat der Schatzung des Modells zu uberprufen. Fur die Datensimulation wurden drei unterschiedliche Verteilungsannahmen bezuglich der Personenparameter $\theta_{v}$ getroffen: (1) $\theta_{v} \sim NV(0,1.7)$, (2) $\theta_{v} \sim unif(-1,5)$, (3) $\theta_{v} \sim unif(-5,1)$. Zusatzlich wurden die Rateparameter so variiert, dass sie von $\gamma_{i} = 0$, $\forall i$ bis zu $\gamma_{i} = 0.20$, $\forall i$ anstiegen. Danach wurde mittels eines fur diesen Zweck formulierten und geeigneten Likelihood-Ratio-Test die Brauchbarkeit des Difficulty-Plus-Guessing PL Modells, hinsichtlich der Einhaltung des Fehlers 1. und 2. Art, gepruft. Dabei zeigte sich, dass dieser asymptotisch $\chi^2$-verteilte Modelltest nicht spezifisch ist. Das bedeutet, dass erst grobere Abweichungen vom Rasch-Modell gelegentlich entdeckt werden. Die Resultate zeigten des weiteren auch, dass die Modellanpassung, fur normalverteilte Personenparameter und fur Rateparameter von $\gamma_{i} \geq 0.15$, $\forall i$, akzeptabel war. Die Anpassung des Modells war im Gegensatz dazu optimal fur weniger leistungsfahige Personenstichproben und fur Rateparameter von $\gamma_{i} \geq 0.10$, $\forall i$ (was einer Ratewahrscheinlichkeit eines Multiple-Choice Items mit 10 Antwortalternativen und einer korrekten Losung entspricht). Fur sehr leistungsfahige Personenstichproben stellte sich das Difficulty-Plus-Guessing PL Modell als nicht reliabel heraus. Des weiteren zeigte sich, dass es lediglich sinnvoll und auch moglich ist, Rateparameter fur leichte und relativ gesehen mittelschwere Items zu schatzen. Zusatzlich wurde noch der zufallige Bias und die Varianz der Schatzung der Itemparameter berechnet. Die Modellabweichungen fur normalverteilte Personenparameter waren klein und die Ergebnisse robust. Fur weniger leistungsfahige Personenstichproben resultierte ein relativ hoher Bias in der Schatzung, welcher sich aber mit wachsendem Rateparameter verringerte. Im Gegensatz dazu, waren die Schatzergebnisse des Rasch-Modells stark verzerrt. In Analogie zu Puchhammer (1989b) wurden auch die aus der Schatzung resultierenden Haufungspunkte berechnet. Das Difficulty-Plus-Guessing PL Modell liefert hier, fur sehr leistungsstarke Personenstichproben, Schatzungen bezuglich der Rateparameter die groser als eine Ratewarscheinlichkeit von eins sind. Resultate die durch das Difficulty-Plus-Guessing PL Modell aus solchen Daten gewonnen werden, sind deswegen nicht reliabel.
BibTeX
@inproceedings{gruber2009zur,
author = {Kathrin Gruber},
title = {{Zur statistischen Güte des Difficulty-Plus-Guessing PL Modells}},
booktitle = {WU},
year = {2009},
}Loading related content...