Item Response Theory verstehen und anwenden

Wie lassen sich Kompetenzen valide messen? Was macht ein gutes Testitem aus? Und wie können klassische Verfahren der Testtheorie durch digitale und KI-gestützte Ansätze weitergedacht werden? Mit diesen Fragen beschäftigten sich die IRT-Workshops von Dr. Alexander Naumann (DIPF), die im November im Rahmen der Förderrunde des Kompetenzzentrums für digitales Lehren und Lernen stattfanden.

Im Zentrum stand die Item Response Theory (IRT) – eine probabilistische Testtheorie, die den Zusammenhang zwischen latenten Merkmalen (wie Fähigkeiten) und beobachtbaren Antworten modelliert. Anders als die klassische Testtheorie erlaubt IRT, Personenfähigkeiten und Itemeigenschaften getrennt zu beschreiben und auf einer gemeinsamen Skala darzustellen. Anhand anschaulicher Beispiele wurde deutlich, wie sich daraus präzisere Interpretationen von Testergebnissen ableiten lassen.

Nach einer Einführung in grundlegende Modelle wie das dichotome Rasch-Modell und seine Erweiterungen (z. B. das zweiparametrische logistische Modell) richtete sich der Fokus auf die praktische Umsetzung. Die Teilnehmenden arbeiteten mit der Statistiksoftware R und dem Paket TAM, um IRT-Modelle zu schätzen, Skalen zu konstruieren und Modellannahmen zu überprüfen. Ergänzend wurde diskutiert, wie KI-gestützte Werkzeuge die Testentwicklung unterstützen können – etwa bei der automatisierten Itemgenerierung, der Datenaufbereitung oder der Analyse komplexer Modellierungen.

Ein zentrales Anliegen der Workshops war es, die Brücke zwischen Theorie und Anwendung zu schlagen. Gemeinsam wurde reflektiert, welche Chancen und Grenzen die IRT-Modellierung für Forschungs- und Praxisprojekte bietet und wie sich diese Ansätze in eigene Arbeiten integrieren lassen.