Benutzergeneriertes Assessment in OPAL

Was lief gut im Projektverlauf?

Alle im Projektantrag gestellten Ziele konnten erfüllt werden:
1) Bedarfsanalyse zum Thema des benutzergenerierten Assessments
2) Entwicklung eines Pflichtenhefts
3) Entwicklung von Lehr- und Lernszenarien
4) Erweiterung und Verbesserungen von ONYX
5) kontinuierliche Qualitätssicherung über den gesamten Projektverlauf (z.B. Hinweise zur Verbesserung der Usability von Onyx; Anpassung des Einsatzszenarios
6) Untersuchung der Akzeptanz der Teilnehmer und die Initiierung von Lerneffekten

Welche Herausforderungen ergaben sich bei der Projektdurchführung?

Entwicklung eines Autorensystems, das Peer-Assessment-Funktionen (Kommentierungsfunktion) sowie eine Rating-Funktion (Highscore-Liste, Rangreihe der besten Studierenden) unterstützt
- Tutor und Studierende mussten aber verschiedene Systeme für die Umsetzung nutzen. Die unvermeidbaren Medienbrüche und die damit einhergehende inkonsistente Benutzerführung beim Erstellen, Verwalten und Durchführen verlangten einen hohen Einarbeitungsaufwand. Dies wurde weiterhin verstärkt, da die Studierenden mit der Aufgabenerstellung bisher nicht vertraut waren (Lernplattform OPAL, ONYX Testsuite und das Content-Management-System edu-sharing)

Traten unerwartete Schwierigkeiten auf? Wenn ja, welche?

Webversion von ONYX: Stabilität, Bedienung; Motivation seitens der Studierenden (Bereitschaft zur Teilnahme)

Was würden Sie aus Ihren Erfahrungen heraus für ähnlich angelegte Projekte empfehlen?

Bereitstellung von ausreichend Unterstützungsmaterialien (Manuale, Handreichungen, Screencasts); Support für Studierende und Lehrende;Qualifizierungsmaßnahmen (Schulungen)

Nachnutzungsmöglichkeiten

Weiterentwicklung des ONYX-Testsystems, Szenarien für den Einsatz des Benutzergenerierten Assessments

Generelles

iterativer Qualitätssicherungsmaßnahmen: Evaluierung bzgl. Akzeptanz und Usability (Gebrauchstauglichkeit)

zu empfehlendes Lehr-Lernszenario:
1) Bedarfsanalyse (optional): Erfassen der Erwartungen und Wünsche sowie die Befürchtungen der Teilnehmer
2) Aufklärung über Ziele und Nutzen des Projektes: Erhöhung der intrinsischen Motivation der Teilnehmer
3) Präsenzveranstaltung: Klären der organisatorischen und inhaltlichen Rahmen des benutzergenerierten Assessments (u.a. Festlegen des Zeitrahmens, Durchführungsrunden, Termine für Schulungen, Bewertungskriterien erarbeiten/festlegen
4) Schulung Lehrende und Studierende: ONYX-/OPAL-Schulung
5) Workflow und Qualitätssicherung
- Studierende erstellen Aufgaben mit ONYX-Editor
- Aufgabe wird im Repositorium edu-sharing abgelegt
- Lehrende/r bzw. studentische Hilfskräfte stellen alle Aufgaben aus edu-sharing zu
einem Test zusammen und binden diesen in OPAL als Testbaustein ein – Studierende beantworten und bewerten (hinsichtlich Verständlichkeit) die Aufgaben in OPAL (ONYX-Player)
- Aktualisierung der Highscore-Liste anhand der aus dem Onyx-Reporter archivierten Daten
6) Evaluation (optional): Maßnahmen zur Qualitätssicherung

iterativer Qualitätssicherungsmaßnahmen: Evaluierung bzgl. Akzeptanz und Usability (Gebrauchstauglichkeit), inkl. zu empfehlendes Lehr-/Lernszenario kann bei genannten Kontaktpersonen erfragt werden

Literatur

Kawalek, J. (2014): Formatives E-Assessment: Veranstaltungsbegleitendes Lernen durch Fragengenerierung? In Kawalek, J.; Hering, K.; Schuster, E. (Hrsg.): 12. Workshop on e-Learning – Tagungsband. 25. September 2014, Hochschule Zittau/Görlitz. Wissenschaftliche Berichte, Heft 121 – 2014, Nr. 2646 – 2663.;

Müller, W.; Seidel, N.; Teich, E. (2011): Szenarien des benutzergenerierten Assessments in OPAL und ONYX. 9. Workshop on e-Learning (WeL'11). 24./25.10.2011, HTWK Leipzig.;

URL

https://bildungsportal.sachsen.de/portal/wp-content/uploads/2018/04/berichte_e_learning_2011.pdf