1. Einführung

Der AI Act legt fest, dass die jeweiligen Akteure (Anbieter, Betreiber, Importeure etc.) unterschiedliche Pflichten haben, um Sicherheit, Transparenz und Grundrechtskonformität zu gewährleisten.

• Hochschulen sind meist Betreiber („Nutzer“) von KI-Systemen, können aber auch Anbieter sein, wenn sie KI-Systeme entwickeln (z. B. eigene Softwarelösungen).
• Die Anforderungen variieren: Während Systeme mit minimalem Risiko kaum zusätzliche Auflagen haben, ist bei hohem Risiko ein umfangreiches Konformitäts- und Risikomanagement gefordert.

2. Allgemeine Anforderungen für alle KI-Systeme

Unabhängig von der Risikostufe gelten eine Reihe von Grundprinzipien, die alle KI-Anwendungen erfüllen sollten:

1. Sicherheit und Robustheit

   • Die Systeme müssen so konzipiert sein, dass sie verlässlich funktionieren und keine unnötigen Risiken für "Nutzer*innen (also "Betreiber") oder Dritte darstellen.

2. Datenschutz und DSGVO-Konformität

   • Personenbezogene Daten dürfen nur rechtmäßig (z. B. Einwilligung, gesetzliche Grundlage) verarbeitet werden.
   • Privacy by Design und Privacy by Default sollten frühzeitig in den Entwicklungs- und Einsatzprozess integriert werden.

3. Vermeidung von Diskriminierung

   • Datensätze und Algorithmen müssen möglichst fair gestaltet sein, damit bestimmte Personengruppen nicht systematisch benachteiligt werden.
   • Regelmäßige Bias-Prüfungen werden empfohlen, insbesondere bei sensiblen Anwendungen.

4. Transparenz

   • Nutzer*innen (also "Betreiber") müssen wissen, dass sie mit einer KI interagieren und über potenzielle Einschränkungen oder Fehlerraten informiert werden.

3. Spezifische Pflichten für hochriskante KI-Systeme

Für KI-Systeme, die in die Kategorie „hohes Risiko“ eingestuft werden (siehe Modul 3), definiert der AI Act strengere Auflagen. Dazu gehören insbesondere:

1. Risikomanagementsystem

   • Anbietende und/oder einsetzende Organisationen müssen ein systematisches Verfahren implementieren, um Risiken zu erkennen, zu bewerten und zu minimieren.
   • Dies sollte den gesamten Lebenszyklus des KI-Systems umfassen: von der Entwicklung über Tests bis zur praktischen Nutzung und eventuellen Updates.

2. Konformitätsbewertung

   • Der Anbieter (oder die dafür verantwortliche Stelle) muss vor dem Inverkehrbringen bzw. Einsatz überprüfen (lassen), ob alle gesetzlichen Anforderungen erfüllt sind.
   • Einige Systeme benötigen eine CE-Kennzeichnung (oder ein vergleichbares Konformitätszeichen), wenn sie als „Produkt“ gelten, das auf dem Binnenmarkt angeboten wird.

3. Technische Dokumentation

   • Die Funktionsweise, Algorithmen, Trainingsdaten, Qualitätskontrollverfahren und Testszenarien müssen ausführlich dokumentiert sein.
   • Ziel: Bei Bedarf (z. B. im Falle einer Überprüfung) kann nachvollzogen werden, wie das System Entscheidungen trifft und warum es zu bestimmten Ergebnissen kommt.

4. Überwachung nach dem Inverkehrbringen („Post-Market Monitoring“)

   • Kontinuierliche Überwachung des KI-Systems in der realen Anwendung, um Probleme oder Sicherheitslücken frühzeitig zu erkennen.
   • Pflicht, auffällige Vorfälle zu melden (z. B. beim nationalen Aufsichtsorgan) und rasch Maßnahmen einzuleiten.

5. Einhaltung von harmonisierten Normen

   • Bei hochriskanten Systemen können harmonisierte EU-Normen (z. B. ISO/CEN) herangezogen werden, die den Stand der Technik widerspiegeln.
   • Die Einhaltung solcher Normen erleichtert oft den Nachweis der Konformität.

4. Technische Dokumentation und Qualitätskontrolle

4.1. Dokumentationsinhalte

• Systembeschreibung: Architektur, Komponenten, verwendete Technologien.
• Trainingsdaten: Herkunft, Qualität, Vorverarbeitung, ggf. Annotationsmethoden.
• Algorithmische Entscheidungen: Welche Modelle oder Methoden werden genutzt? Gibt es Gewichtungen oder Schwellenwerte, die entscheidend sind?
• Evaluationsverfahren: Metrics (z. B. Accuracy, F1-Score), Testdatensätze, Bias-Checks.

4.2. Kontinuierliche Verbesserung

Die Dokumentation wird nicht einmalig erstellt, sondern sollte bei jedem Update oder jeder wesentlichen Änderung angepasst werden. So bleibt nachvollziehbar, welche Version des Systems eingesetzt wird und mit welchen Parametern.

5. Transparenz- und Kennzeichnungspflichten

1. Informationspflicht

   • Nutzt eine Hochschule ein KI-System, das Entscheidungen trifft oder Menschen beeinflusst, so muss klar sein, dass hier künstliche Intelligenz im Einsatz ist.
   • In sensiblen Bereichen (z. B. Prüfungsaufsicht) kann es erforderlich sein, spezifisch über Risiken, Funktionsweise und Eingriffsmöglichkeiten zu informieren.

2. Nachvollziehbarkeit für Betroffene

   • Nutzer*innen (z. B. Studierende) sollten in nachvollziehbarer Form erfahren, warum eine Entscheidung (z. B. Prüfungsbewertung) so getroffen wurde.
   • Bei hochriskanten Systemen kann es verpflichtend sein, Erklärungsmodelle bzw. Dokumentation bereitzustellen, die im Zweifel einer Stelle (Datenschutz, Ethikkommission, Ombudsstelle) offengelegt werden.

3. Kennzeichnung generierter Inhalte

   • Für KI, die automatisch Inhalte (z. B. Texte, Bilder) erzeugt, könnte je nach Kontext eine Kennzeichnung („KI-generiert“) vorgeschrieben sein. So wird vermieden, dass Menschen KI-Ausgaben mit menschlichen Inhalten verwechseln.

6. Sanktionen und Konsequenzen bei Verstößen

Der AI Act sieht bei schwerwiegenden Verstößen empfindliche Bußgelder vor, die sich – ähnlich wie bei der DSGVO – an der Art und Schwere des Verstoßes orientieren. Für Hochschulen kann das beispielsweise dann relevant werden, wenn ein hochriskantes KI-System ohne ausreichende Konformität oder Dokumentation zum Einsatz kommt und dabei die Rechte von Studierenden oder Mitarbeitenden verletzt werden.

7. Praktische Umsetzung an der Hochschule

Welche Schritte sollten Hochschulen unternehmen, um die Anforderungen zu erfüllen?

1. Projekt- und Risiko-Scoping

   • Erfassen, welche KI-Systeme im Einsatz sind oder geplant sind.
   • Erste Einstufung (Risiko-Kategorien) und Bestandsaufnahme möglicher Lücken.

2. Interne Prozesse und Leitlinien

   • Umsetzung von internen Richtlinien (z. B. „AI Governance-Richtlinie“)
   • Benennung von Verantwortlichen (Datenschutzbeauftragte, Ethikkommission, IT-Security)
   • Ggf. Einrichtung eines Freigabeprozesses für neue KI-Anwendungen

3. Dokumentation & Prüfung

   • Bei hochriskanten Anwendungen: Erstellung oder Einforderung der technischen Dokumentation vom Anbieter.
   • Regelmäßige Überprüfung (Post-Market Monitoring), ob die eingesetzten Systeme sich weiterhin konform verhalten.

4. Schulungen und Sensibilisierung

   • Schulungen für Lehrende, Verwaltungspersonal und Forschende, damit allen Beteiligten klar ist, welche Pflichten bestehen und wie man im Arbeitsalltag konform bleibt.
   • Angebote für Studierende, um AI Literacy zu fördern und Missverständnissen vorzubeugen.