Benutzergeneriertes Assessment in OPAL

Benutzergeneriertes Assessment in OPAL

Im Rahmen des Projektes werden Peer-Assessment-Funktionen in die Lernplattform OPAL integriert. Studierende sollen mit Hilfe eines benutzerfreundlichen Autorenwerkzeuges einfache Testaufgaben bezogen auf konkrete Veranstaltungsinhalte (oder eigene Referate) erstellen können. Die Beantwortung und Bewertung erfolgt durch KommilitonInnen z.B. über eine Punktevergabe. Jeder Student kann dabei in verschiedenen Rollen aktiv sein: als Autor von Testaufgaben, Antwortender und Feedback-Geber.

Details

Projektträger: Sächsisches Staatsministerium für Wissenschaft und Kunst (SMWK)

Lessons Learned

Was lief gut im Projektverlauf?

Alle im Projektantrag gestellten Ziele konnten erfüllt werden:
1) Bedarfsanalyse zum Thema des benutzergenerierten Assessments
2) Entwicklung eines Pflichtenhefts
3) Entwicklung von Lehr- und Lernszenarien
4) Erweiterung und Verbesserungen von ONYX
5) kontinuierliche Qualitätssicherung über den gesamten Projektverlauf (z.B. Hinweise zur Verbesserung der Usability von Onyx; Anpassung des Einsatzszenarios
6) Untersuchung der Akzeptanz der Teilnehmer und die Initiierung von Lerneffekten

Welche Herausforderungen ergaben sich bei der Projektdurchführung?

Entwicklung eines Autorensystems, das Peer-Assessment-Funktionen (Kommentierungsfunktion) sowie eine Rating-Funktion (Highscore-Liste, Rangreihe der besten Studierenden) unterstützt
- Tutor und Studierende mussten aber verschiedene Systeme für die Umsetzung nutzen. Die unvermeidbaren Medienbrüche und die damit einhergehende inkonsistente Benutzerführung beim Erstellen, Verwalten und Durchführen verlangten einen hohen Einarbeitungsaufwand. Dies wurde weiterhin verstärkt, da die Studierenden mit der Aufgabenerstellung bisher nicht vertraut waren (Lernplattform OPAL, ONYX Testsuite und das Content-Management-System edu-sharing)

Traten unerwartete Schwierigkeiten auf? Wenn ja, welche?

Webversion von ONYX: Stabilität, Bedienung; Motivation seitens der Studierenden (Bereitschaft zur Teilnahme)

Was würden Sie aus Ihren Erfahrungen heraus für ähnlich angelegte Projekte empfehlen?

Bereitstellung von ausreichend Unterstützungsmaterialien (Manuale, Handreichungen, Screencasts); Support für Studierende und Lehrende;Qualifizierungsmaßnahmen (Schulungen)

Nachnutzungsmöglichkeiten

Weiterentwicklung des ONYX-Testsystems, Szenarien für den Einsatz des Benutzergenerierten Assessments

Weitere Informationen

Projektzeitraum: 01.04.2011 bis 31.12.2011

Produkt

Bedarfsermittlung (u. a. Interviews mit Studierenden und Dozenten) Anforderungen an ein entsprechendes Autorenwerkzeug (Pflichtenheft) und die Weiterentwicklung von ONYX

https://www.hszg.de/zfe/projekte/abgeschlossene-projekte/bega.html

Produkt

Entwicklung von Anwendungsszenarien zum konkreten Einsatz in der Lehre: Bedarfsanalyse mit ausführlichen Sekundäranalyse, Befragung von Lehrenden (Interviews) und Studierenden (Fokusgruppen). Basierend darauf erfolgte eine Erstellung eines Anforderungsprofils für ein Werkzeug zur Unterstützung von Peer- und benutzergeneriertem Assessment sowie für die Ableitung konkreter Einsatzszenarien in der Lehre.

https://www.hszg.de/zfe/projekte/abgeschlossene-projekte/bega.html

Generelles

iterativer Qualitätssicherungsmaßnahmen: Evaluierung bzgl. Akzeptanz und Usability (Gebrauchstauglichkeit)

zu empfehlendes Lehr-Lernszenario:
1) Bedarfsanalyse (optional): Erfassen der Erwartungen und Wünsche sowie die Befürchtungen der Teilnehmer
2) Aufklärung über Ziele und Nutzen des Projektes: Erhöhung der intrinsischen Motivation der Teilnehmer
3) Präsenzveranstaltung: Klären der organisatorischen und inhaltlichen Rahmen des benutzergenerierten Assessments (u.a. Festlegen des Zeitrahmens, Durchführungsrunden, Termine für Schulungen, Bewertungskriterien erarbeiten/festlegen
4) Schulung Lehrende und Studierende: ONYX-/OPAL-Schulung
5) Workflow und Qualitätssicherung
- Studierende erstellen Aufgaben mit Onyx-Editor
- Aufgabe wird im Repositorium edu-sharing abgelegt
- Lehrende/r bzw. studentische Hilfskräfte stellen alle Aufgaben aus edu-sharing zu
einem Test zusammen und binden diesen in OPAL als Testbaustein ein - Studierende beantworten und bewerten (hinsichtlich Verständlichkeit) die Aufgaben in OPAL (Onyx-Player)
- Aktualisierung der Highscore-Liste anhand der aus dem Onyx-Reporter archivierten Daten
6) Evaluation (optional): Maßnahmen zur Qualitätssicherung

iterativer Qualitätssicherungsmaßnahmen: Evaluierung bzgl. Akzeptanz und Usability (Gebrauchstauglichkeit), inkl. zu empfehlendes Lehr-/Lernszenario kann bei genannten Kontaktpersonen erfragt werden

Literatur

Kawalek, J. (2014): Formatives E-Assessment: Veranstaltungsbegleitendes Lernen durch Fragengenerierung? In Kawalek, J.; Hering, K.; Schuster, E. (Hrsg.): 12. Workshop on e-Learning - Tagungsband. 25. September 2014, Hochschule Zittau/Görlitz. Wissenschaftliche Berichte, Heft 121 - 2014, Nr. 2646 - 2663.;

Müller, W.; Seidel, N.; Teich, E. (2011): Szenarien des benutzergenerierten Assessments in OPAL und ONYX. 9. Workshop on e-Learning (WeL'11). 24./25.10.2011, HTWK Leipzig.;

URL

https://bildungsportal.sachsen.de/portal/wp-content/uploads/2018/04/berichte_e_learning_2011.pdf

Kontakt

Prof. Dr. Jürgen Kawalek

Hochschule Zittau/Görlitz

j.kawalek@hszg.de

03581/374 4253

https://zfe.hszg.de/startseite-zfe.html