Benutzergeneriertes Assessment in OPAL
Im Rahmen des Projektes werden Peer-Assessment-Funktionen in die Lernplattform OPAL integriert. Studierende sollen mit Hilfe eines benutzerfreundlichen Autorenwerkzeuges einfache Testaufgaben bezogen auf konkrete Veranstaltungsinhalte (oder eigene Referate) erstellen können. Die Beantwortung und Bewertung erfolgt durch KommilitonInnen z.B. über eine Punktevergabe. Jeder Student kann dabei in verschiedenen Rollen aktiv sein: als Autor von Testaufgaben, Antwortender und Feedback-Geber.
Details
Projektträger: Sächsisches Staatsministerium für Wissenschaft und Kunst (SMWK)
Lessons Learned
Was lief gut im Projektverlauf?
Alle im Projektantrag gestellten Ziele konnten erfüllt werden:
1) Bedarfsanalyse zum Thema des benutzergenerierten Assessments
2) Entwicklung eines Pflichtenhefts
3) Entwicklung von Lehr- und Lernszenarien
4) Erweiterung und Verbesserungen von ONYX
5) kontinuierliche Qualitätssicherung über den gesamten Projektverlauf (z.B. Hinweise zur Verbesserung der Usability von Onyx; Anpassung des Einsatzszenarios
6) Untersuchung der Akzeptanz der Teilnehmer und die Initiierung von Lerneffekten
Welche Herausforderungen ergaben sich bei der Projektdurchführung?
Entwicklung eines Autorensystems, das Peer-Assessment-Funktionen (Kommentierungsfunktion) sowie eine Rating-Funktion (Highscore-Liste, Rangreihe der besten Studierenden) unterstützt
- Tutor und Studierende mussten aber verschiedene Systeme für die Umsetzung nutzen. Die unvermeidbaren Medienbrüche und die damit einhergehende inkonsistente Benutzerführung beim Erstellen, Verwalten und Durchführen verlangten einen hohen Einarbeitungsaufwand. Dies wurde weiterhin verstärkt, da die Studierenden mit der Aufgabenerstellung bisher nicht vertraut waren (Lernplattform OPAL, ONYX Testsuite und das Content-Management-System edu-sharing)
Traten unerwartete Schwierigkeiten auf? Wenn ja, welche?
Webversion von ONYX: Stabilität, Bedienung; Motivation seitens der Studierenden (Bereitschaft zur Teilnahme)
Was würden Sie aus Ihren Erfahrungen heraus für ähnlich angelegte Projekte empfehlen?
Bereitstellung von ausreichend Unterstützungsmaterialien (Manuale, Handreichungen, Screencasts); Support für Studierende und Lehrende;Qualifizierungsmaßnahmen (Schulungen)
Nachnutzungsmöglichkeiten
Weiterentwicklung des ONYX-Testsystems, Szenarien für den Einsatz des Benutzergenerierten Assessments
Weitere Informationen
Projektzeitraum: 01.04.2011 bis 31.12.2011
Produkt
Bedarfsermittlung (u. a. Interviews mit Studierenden und Dozenten) Anforderungen an ein entsprechendes Autorenwerkzeug (Pflichtenheft) und die Weiterentwicklung von ONYX
https://www.hszg.de/zfe/projekte/abgeschlossene-projekte/bega.html
Produkt
Entwicklung von Anwendungsszenarien zum konkreten Einsatz in der Lehre: Bedarfsanalyse mit ausführlichen Sekundäranalyse, Befragung von Lehrenden (Interviews) und Studierenden (Fokusgruppen). Basierend darauf erfolgte eine Erstellung eines Anforderungsprofils für ein Werkzeug zur Unterstützung von Peer- und benutzergeneriertem Assessment sowie für die Ableitung konkreter Einsatzszenarien in der Lehre.
https://www.hszg.de/zfe/projekte/abgeschlossene-projekte/bega.html
Generelles
iterativer Qualitätssicherungsmaßnahmen: Evaluierung bzgl. Akzeptanz und Usability (Gebrauchstauglichkeit)
zu empfehlendes Lehr-Lernszenario:
1) Bedarfsanalyse (optional): Erfassen der Erwartungen und Wünsche sowie die Befürchtungen der Teilnehmer
2) Aufklärung über Ziele und Nutzen des Projektes: Erhöhung der intrinsischen Motivation der Teilnehmer
3) Präsenzveranstaltung: Klären der organisatorischen und inhaltlichen Rahmen des benutzergenerierten Assessments (u.a. Festlegen des Zeitrahmens, Durchführungsrunden, Termine für Schulungen, Bewertungskriterien erarbeiten/festlegen
4) Schulung Lehrende und Studierende: ONYX-/OPAL-Schulung
5) Workflow und Qualitätssicherung
- Studierende erstellen Aufgaben mit Onyx-Editor
- Aufgabe wird im Repositorium edu-sharing abgelegt
- Lehrende/r bzw. studentische Hilfskräfte stellen alle Aufgaben aus edu-sharing zu
einem Test zusammen und binden diesen in OPAL als Testbaustein ein - Studierende beantworten und bewerten (hinsichtlich Verständlichkeit) die Aufgaben in OPAL (Onyx-Player)
- Aktualisierung der Highscore-Liste anhand der aus dem Onyx-Reporter archivierten Daten
6) Evaluation (optional): Maßnahmen zur Qualitätssicherung
iterativer Qualitätssicherungsmaßnahmen: Evaluierung bzgl. Akzeptanz und Usability (Gebrauchstauglichkeit), inkl. zu empfehlendes Lehr-/Lernszenario kann bei genannten Kontaktpersonen erfragt werden
Literatur
Kawalek, J. (2014): Formatives E-Assessment: Veranstaltungsbegleitendes Lernen durch Fragengenerierung? In Kawalek, J.; Hering, K.; Schuster, E. (Hrsg.): 12. Workshop on e-Learning - Tagungsband. 25. September 2014, Hochschule Zittau/Görlitz. Wissenschaftliche Berichte, Heft 121 - 2014, Nr. 2646 - 2663.;
Müller, W.; Seidel, N.; Teich, E. (2011): Szenarien des benutzergenerierten Assessments in OPAL und ONYX. 9. Workshop on e-Learning (WeL'11). 24./25.10.2011, HTWK Leipzig.;
URL
https://bildungsportal.sachsen.de/portal/wp-content/uploads/2018/04/berichte_e_learning_2011.pdf
Kontakt
Prof. Dr. Jürgen Kawalek
Hochschule Zittau/Görlitz
03581/374 4253