CACAO: Competence Assessment via Conversational Agents in Online Collaborative Learning Environments – Kompetenzbewertung mittels Conversational Agents in online kollaborativen Lernumgebungen

CACAO ist ein innovatives angewandtes Forschungsprojekt, das darauf abzielt, die Medienkompetenzmessung und das formative E-Assessment in digitalen kollaborativen Lernumgebungen zu integrieren. Kernstück des Vorhabens ist die Entwicklung eines pädagogischen Chatbots, der durch Analyse von Nutzungsdaten der Lernplattform individuelles Feedback zur Medienkompetenz der Lernenden und Lehrenden liefert. Dieses Feedback wird teilautomatisiert an die Nutzer weitergegeben und unterstützt Lehrende durch visuelle Datenaufbereitung bei der Identifizierung von Verbesserungspotenzialen. Der Ansatz zielt darauf ab, die Lehrkräfte zu entlasten und durch präzise Datennutzung die Qualität der Lernerfahrungen zu steigern, was wiederum den Lernerfolg verbessern soll.
Der Chatbot wird in einer Online-Lernumgebung eingesetzt, wobei eine spezielle Datenbank die Interaktions- und Aktivitätsdaten der Teilnehmenden sammelt. Ziel ist es, Verhaltensmuster zu erkennen, die Rückschlüsse auf die Medienkompetenz zulassen. Diese Muster werden dann genutzt, um Korrelationen mit bestehenden Daten herzustellen und Verbesserungsmöglichkeiten aufzuzeigen. Besonderes Augenmerk liegt auf der Gestaltung des Chatbots, der so entwickelt wird, dass er plattformunabhängig einsetzbar ist, um die Anwendung auf verschiedenen Lernplattformen zu ermöglichen.
Für die Bewertung der Wirksamkeit des Chatbots ist ein einjähriger Pilotversuch vorgesehen. Die Evaluation erfolgt dabei auf zwei Ebenen: die direkte Bewertung des Prototyps und die Überprüfung der durch den Chatbot erzielten Kompetenzsteigerungen. Die gewonnenen Erkenntnisse aus der ersten Phase fließen direkt in die Optimierung für das zweite Semester ein, um die Effektivität des Chatbots zu steigern und dessen positiven Einfluss auf den Lernerfolg zu maximieren.

Details

Projektträger

Kultur und Tourismus (SMWK), Sächsisches Staatsministerium für Wissenschaft

Lessons Learned

Was lief gut im Projektverlauf?

- Erfolgreiche Erreichung der Projektziele durch eine abgestimmte Struktur von Arbeitspaketen, die schrittweise das übergeordnete Ziel realisierten.
- Entwicklung eines differenzierten Kompetenzmodells und eines detaillierten Fragebogens zur Identifizierung von Verhaltensmustern im Online-Lernraum.
- Gewährleistung der Datensicherheit durch Entwicklung und Implementierung eines spezifischen Datenschutzkonzepts.
- Erfolgreiche Implementierung und Einsatz des Chatbots im Sommersemester 2023, der den Lernenden bei ihrer Kompetenzentwicklung unterstützte.

Welche Herausforderungen ergaben sich bei der Projektdurchführung?

- Unterschätzung des Arbeitsaufwands für das erste Arbeitspaket, was zu einer Verschiebung der Implementierung führte.
- Notwendigkeit, die Implementierung auf das folgende Semester zu verschieben, um eine qualitativ hochwertige Implementierung sicherzustellen.

Was würden Sie aus Ihren Erfahrungen heraus für ähnlich angelegte Projekte empfehlen?

- Eine gründliche Planung und realistische Einschätzung des Arbeitsaufwands für die einzelnen Arbeitspakete vornehmen.
- Frühzeitige Integration der Zielgruppe (Lernende und Lehrende) in den Entwicklungsprozess, um deren Bedürfnisse und Feedback direkt einfließen zu lassen.

Weitere „Lessons-Learned“:

- Die Bedeutung der kontinuierlichen Evaluation und Anpassung des Projekts basierend auf Feedback und Testergebnissen, um die Wirksamkeit und Nutzerakzeptanz zu steigern.
- Wichtigkeit der interdisziplinären Zusammenarbeit, um vielfältige Perspektiven und Expertisen in die Entwicklung innovativer Lösungen einzubringen.

Nachnutzungsmöglichkeiten

Die Nachnutzungsmöglichkeiten und Folgeprojekte des CACAO-Projekts umfassen die Integration der entwickelten Tools und Methoden in die reguläre Lehre und weitere Forschungsprojekte. Einige Ergebnisse wurden bereits in die Lehrpraxis integriert, und die entwickelten Instrumente bieten eine Grundlage für die Weiterentwicklung digitaler Lehr- und Lernformate. Darüber hinaus ist die Publikation der Ergebnisse auf einer Konferenz im Jahr 2024 geplant.