Einsatz, Evaluation und Weiterentwicklung des E-Assessment-Systems ONYX für elektronische Mathematikprüfungen
Inhalt des Vorhabens ist der protokollierte und evaluierte Einsatz des E-Assessment-Systems ONYX sowie dessen abgesicherten Prüfungsmoduls. Es sollen die für einen reibungslosen Prüfungsablauf kritischen Aspekte, wie rechtssichere Identifikation, technische Ausfall- und Lastszenarien, Nachweisbarkeit von Prüfungsergebnissen und -bewertungen sowie verbindliche Protokollierung und Archivierung der Prüfungsdaten unter dem Gesichtspunkt des stabilen Einsatzes untersucht werden.
Da diese Aspekte an der TU Chemnitz bislang nicht in realen Prüfungssituationen getestet werden konnten, ist die Evaluierung in prüfungsähnlichen Situationen geplant. An der HTWK Leipzig sind in Modulen der Grundlagenmathematik elektronische Prüfungen in der Prüfungsordnung verpflichtend verankert. Diese stellen neue Herausforderungen dar, zum Beispiel bei der Sicherstellung von gleichen Prüfungschancen.
Folgende Systemanpassungen sollen durch die BPS GmbH realisiert werden:
• Rechtssichere Identifikation durch dauerhafte Namensanzeige
• Anpassung des Workflows zur Prüfungsbestätigung an die Vor-Ort-Gegebenheiten der TU Chemnitz
• Aktualisierung der Signatur der gesicherten Prüfungsbögen
• Erweiterung der Archivierungsfunktion durch Aufnahme zusätzlicher Prüfungsverlaufs- und Bewertungsinformationen
• Veränderter Nutzerworkflow bei einer Doppelregistrierung
Details
Projektträger
Sächsisches Staatsministerium für Wissenschaft und Kunst (SMWK)
Lessons Learned
Was lief gut im Projektverlauf?
Die angestrebten Implementierungen in ONYX wurden sehr frühzeitig implementiert. Dadurch konnten mehrere elektronische Prüfungen mit OPAL/ONYX und den beabsichtigte Verbesserungen im Februar 2020 durchgeführt werden. Die gemachten Erfahrungen wurden an die BPS GmbH zurückgespiegelt, die Implementierungen wurden finalisiert und ein OPAL-Kurs zum "Ausprobieren" von elektronischen Prüfungen wurde entwickelt.
Welche Herausforderungen ergaben sich bei der Projektdurchführung?
Durch den sofortigen Beginn wurden sehr schnell zwei von drei wesentlichen Projektziele erreicht. Die Herausforderung war die Netzwerkarbeit, die sich durch COVID19 unerwartet entwickelte. Zum Glück war es möglich, den Tandempartner Prof. Potts noch ein paar Tage vor dem Lockdown im März persönlich zu treffen.
Traten unerwartete Schwierigkeiten auf? Wenn ja, welche?
Ganz sicher ist hier Covid19 zu nennen. Dadurch hat das Thema "elektronische Prüfungen" eine sehr große Aufmerksamkeit bekommen, allerdings hat sich auch der Fokus von elektronischen Präsenzprüfungen zu elektronischen Distanzprüfungen verschoben. Letzteres wird sich aber vermutlich nicht mittelfristig etablieren.
Was würden Sie aus Ihren Erfahrungen heraus für ähnlich angelegte Projekte empfehlen?
Es lohnt sich definitiv das Thema elektronische Prüfungen weiterzuverfolgen.
Weitere „Lessons-Learned“:
Nicht alle Kompetenzen lassen sich aktuell elektronisch prüfen und auswerten; es kommt dadurch in der Prüfung zu Medienbrüchen.
Dazu gehören ganz sicher mathematische Skizzen elektronisch zu fertigen und zu bewerten; oder auch Freitextaufgaben elektronisch handschriftlich einzureichen und auszuwerten.
Nachnutzungsmöglichkeiten
Durch die Integration von konkrete Implementierungen zur Verbesserung von Prüfungsszenarien direkt im ONYX-System des Bildungsportals Sachsens stehen diese sofort allen Hochschullehrenden in Sachsen zur Verfügung. Elektronische Prüfungen in unterschiedlichster Ausprägung sind in diesem Semester ja quasi der Standard. Konkrete Folgeprojekte sind im Augenblick nicht geplant.
Weitere Informationen
Projektzeitraum: 01.09.2019 bis 31.12.2020
Generelles
Initiiert durch das Tandem-Projekt wurden Verbesserungen direkt im Lernmanagementsystem OPAL und dem angebundenen E-Assessmentsystem ONYX erreicht. Dies sind meinerseits insbesondere
a) die Namensanzeige des zu Prüfenden,
b) der Austausch der MD5-Prüfsumme durch eine SHA-2 Prüfsumme.
Weitere technische Verbesserungen wurden durch den Tandempartner Prof. Potts und die BPS umgesetzt.
Für das Evaluieren der Prüfungsszenarien wurden mathematische Prüfungsaufgaben im sächsischen Mathematikaufgabenpool unter einer Creative Commons Lizenz entwickelt.
Kontakt
Prof. Dr. Martin Grüttmüller
Hochschule für Technik, Wirtschaft und Kultur Leipzig
Prof. Dr. Daniel Potts
Technische Universität Chemnitz
potts@mathematik.tu-chemnitz.de
0371/531 32150