Zuverlässige und vergleichbare Leistungsermittlung mit E-Assessments

Zuverlässige und vergleichbare Leistungsermittlung mit E-Assessments

Das Projekt ZUVEL integriert in den Workflow der Testerstellung, der mit Hilfe der etablierten Werkzeuge ONYX und OPAL realisiert wird, testmethodische Standards, die eine qualitativ hochwertige Leistungsermittlung unterstützen sollen. Besonderer Schwerpunkt liegt dabei auf einer effektiven Verwaltung von Testfragen durch die Kennzeichnung mit Metadaten, sowie der statistischen Auswertung von Ergebnisdaten zur Item-Analyse, so dass eine nachhaltige Nutzung einmal erstellter Inhalte gewährleistet wird. Der Autor soll durch die Bereitstellung von vordefinierten Metadatensets und -konfigurationen, sowie durch die automatische Ermittlung von ausgewählten, statistischen Kennwerten eine bestmögliche Unterstützung bei der Erstellung und Auswahl von Aufgaben erhalten. Ferner werden Möglichkeiten untersucht, wie ausgehend von zu erreichenden Zielkriterien, wie Lernziel und Schwierigkeitsgrad, automatisiert Testszenarien erstellt und ausgewertet werden können. Existierende Testfragen werden im Projekt katalogisiert und in verschiedenen Lehrveranstaltungen, sowie für Studienbewerber zur Orientierung auf ein Studium eingesetzt. Aufbauend auf den Ergebnissen wird schrittweise die Qualität evaluiert.

Details

Projektträger: Sächsisches Staatsministerium für Wissenschaft und Kunst (SMWK)

Lessons Learned

Was lief gut im Projektverlauf?

Alle im Projektantrag gestellten Ziele konnten erfüllt werden. Probleme sind keine aufgetreten:
1) Problem- und Bedarfsanalyse
2) Konzeption und Machbarkeitsstudie
3) Implementierung und Qualitätssicherung
4) Modellhafte Durchführung in der Lehre – Aufgaben- und Testerstellung
5) Modellhafte Durchführung in der Lehre – Evaluation
6) Einführung und Distribution

Welche Herausforderungen ergaben sich bei der Projektdurchführung?

Zusammenfassend lässt sich festhalten, dass eine zuverlässige Testzusammenstellung einer Reihe von Parametern unterliegt die aufgrund ihrer gegenseitigen Wechselwirkungen für jeden Anwendungsfall spezifisch betrachtet werden müssen und somit einer manuellen Prüfung bedürfen.

Traten unerwartete Schwierigkeiten auf? Wenn ja, welche?

unerwartete Schwierigkeiten sind nicht aufgetreten

Was würden Sie aus Ihren Erfahrungen heraus für ähnlich angelegte Projekte empfehlen?

Frühzeitige Berücksichtigung von potentiellen Nutzern der Zielgruppe

Weitere „Lessons-Learned“:

Die Größe des Aufgabenpools muss ausreichend sein; Optimierung der Testzusammenstellung (Gefahr der Aufgabendopplungen); Qualität der Aufgaben: Um die Aufgabenqualität sicherzustellen, müssen weitere Maßnahmen zur Qualitätssicherung in das Werkzeug und in Handlungsleitfäden integriert werden; Qualität der Metadaten: Voraussetzung einer zuverlässigen, automatisierten Testzusammenstellung ist die korrekte Kategorisierung der Testfragen. Die Freiwilligkeit der Metadateneingabe führt ggf. zur unvollständigen Nutzung und verhindert einen zweckbestimmten Einsatz über alle Inhalte

Nachnutzungsmöglichkeiten

Bereitstellung der entwickelten Funktionen im ONYX-Werkzeug

Weitere Informationen

Projektzeitraum: 01.07.2013 bis 30.01.2014

Produkt

Klassifizierung von Testfragen durch Metadaten

https://www.hszg.de/zfe/projekte/abgeschlossene-projekte/zuvel.html

Produkt

Ermittlung von Item-Kennwerten und Test-Gütekriterien: Erweiterung der in der ONYX Testsuite bereitstehenden Statistiken.

https://www.hszg.de/zfe/projekte/abgeschlossene-projekte/zuvel.html

Generelles

Als Voraussetzung zur Klassifizierung der Testfragen wurde entsprechend dem Projektvorhaben ein fachübergreifendes Metadatenset auf Basis des internationalen Metadaten-Standards IEEE LOM, sowie ein umfassendes Konzept zur Metadatenpflege angefertigt. Es erfolgt eine Implementierung des Metadatensets und ausgewählter Mechanismen zur unterstützten Metadatenpflege. Das Metadatenset ist mittels Konfiguration einfach anpassbar und erweiterbar. Merkmal-orientierte Testzusammenstellung: Bereitstellung von einfachen und komplexen Suchkonzepten auf Basis der Metadaten im Aufgabenpool. Diese Suchfunktionen wurden zudem direkt in die Testzusammenstellung integriert. Dem Autor wird damit ermöglicht, ausgehend von den zu überprüfenden Lernzielen, welche durch die Klassifikation der Einzelaufgaben abgebildet werden, zielorientiert die richtigen Inhalte herauszufiltern und in den Test zu integrieren

Für weiterführende Informationen zu merkmal-orientierter Testzusammenstellung wenden Sie sich bitte an die Kontaktperson(en).

URL

https://bildungsportal.sachsen.de/portal/wp-content/uploads/2018/04/berichte_e_learning_2014.pdf

Kontakt

Prof. Dr. Jürgen Kawalek

Hochschule Zittau/Görlitz

j.kawalek@hszg.de

03581/374 4253

https://zfe.hszg.de/startseite-zfe.html