Zuverlässige und vergleichbare Leistungsermittlung mit E-Assessments

Was lief gut im Projektverlauf?

Alle im Projektantrag gestellten Ziele konnten erfüllt werden. Probleme sind keine aufgetreten:
1) Problem- und Bedarfsanalyse
2) Konzeption und Machbarkeitsstudie
3) Implementierung und Qualitätssicherung
4) Modellhafte Durchführung in der Lehre – Aufgaben- und Testerstellung
5) Modellhafte Durchführung in der Lehre – Evaluation
6) Einführung und Distribution

Welche Herausforderungen ergaben sich bei der Projektdurchführung?

Zusammenfassend lässt sich festhalten, dass eine zuverlässige Testzusammenstellung einer Reihe von Parametern unterliegt die aufgrund ihrer gegenseitigen Wechselwirkungen für jeden Anwendungsfall spezifisch betrachtet werden müssen und somit einer manuellen Prüfung bedürfen.

Traten unerwartete Schwierigkeiten auf? Wenn ja, welche?

unerwartete Schwierigkeiten sind nicht aufgetreten

Was würden Sie aus Ihren Erfahrungen heraus für ähnlich angelegte Projekte empfehlen?

Frühzeitige Berücksichtigung von potentiellen Nutzern der Zielgruppe

Weitere „Lessons-Learned“:

Die Größe des Aufgabenpools muss ausreichend sein; Optimierung der Testzusammenstellung (Gefahr der Aufgabendopplungen); Qualität der Aufgaben: Um die Aufgabenqualität sicherzustellen, müssen weitere Maßnahmen zur Qualitätssicherung in das Werkzeug und in Handlungsleitfäden integriert werden; Qualität der Metadaten: Voraussetzung einer zuverlässigen, automatisierten Testzusammenstellung ist die korrekte Kategorisierung der Testfragen. Die Freiwilligkeit der Metadateneingabe führt ggf. zur unvollständigen Nutzung und verhindert einen zweckbestimmten Einsatz über alle Inhalte

Nachnutzungsmöglichkeiten

Bereitstellung der entwickelten Funktionen im ONYX-Werkzeug

Generelles

Als Voraussetzung zur Klassifizierung der Testfragen wurde entsprechend dem Projektvorhaben ein fachübergreifendes Metadatenset auf Basis des internationalen Metadaten-Standards IEEE LOM, sowie ein umfassendes Konzept zur Metadatenpflege angefertigt. Es erfolgt eine Implementierung des Metadatensets und ausgewählter Mechanismen zur unterstützten Metadatenpflege. Das Metadatenset ist mittels Konfiguration einfach anpassbar und erweiterbar. Merkmal-orientierte Testzusammenstellung: Bereitstellung von einfachen und komplexen Suchkonzepten auf Basis der Metadaten im Aufgabenpool. Diese Suchfunktionen wurden zudem direkt in die Testzusammenstellung integriert. Dem Autor wird damit ermöglicht, ausgehend von den zu überprüfenden Lernzielen, welche durch die Klassifikation der Einzelaufgaben abgebildet werden, zielorientiert die richtigen Inhalte herauszufiltern und in den Test zu integrieren

Für weiterführende Informationen zu merkmal-orientierter Testzusammenstellung wenden Sie sich bitte an die Kontaktperson(en).

URL

https://bildungsportal.sachsen.de/portal/wp-content/uploads/2018/04/berichte_e_learning_2014.pdf