Als wir im Sommer 2021 von Bund und Kantonen mit der Entwicklung einer Datennutzungspolitik für den Bildungsraum Schweiz beauftragt wurden, stellte die künstliche Intelligenz (KI) in der Bildung noch eher ein Nischenthema dar. Nur rund eineinhalb Jahre später trat KI quasi über Nacht aus ihrem Schattendasein hervor – insbesondere in Form von intelligent wirkenden Chatbots.
Diese disruptive Entwicklung eröffnete eine Vielzahl neuer Anwendungsfälle für KI in der Bildung, gleichzeitig wirft sie bis heute auch viele offene Fragen auf. So zum Beispiel zu den gesetzlichen Grundlagen für den Einsatz von KI in der Bildung. Um diesbezüglich Klarheit zu schaffen, haben wir beim «Center for Information Technology Society and Law» (ITSL) der Universität Zürich den Bericht «Rechtliche Auslegeordnung zur Entwicklung und Nutzung von KI im Bildungsraum Schweiz» in Auftrag gegeben.
KI-System: Definition im vorliegenden Bericht
Im Bericht wird unter einem KI-System ein System verstanden, das mittels maschinellen Lernens trainiert wurde. Es folgt nicht von Menschen vorgegebenen Regeln, sondern erkennt statistische Zusammenhänge in den Daten und entwickeln daraus Regeln, um von einem Input zu einem Output zu gelangen.
Entlang von vier Anwendungsfällen – dem personalisierten Lernen, der promotionsrelevanten Leistungsbeurteilung, der Stundenplangestaltung und der Schul- und Klassenzuteilung – hat das ITSL den Einsatz von KI-Systemen in unterschiedlichen Bereichen des Bildungssystems und mit Fokus auf (datenschutz)rechtliche Fragen untersucht. Denn: Je nach Anwendungsfall bearbeiten KI-Systeme grosse Mengen von Personendaten von Schülerinnen und Schülern, Lehrpersonen und Erziehungsberechtigten. Vor diesem Hintergrund steht insbesondere die Zulässigkeit der Verwendung von KI-Systemen im Zentrum.
Im Folgenden werden einige der Erkenntnisse aus dem Bericht zusammengefasst. Dabei ist zu berücksichtigen, dass es sich hierbei um Verallgemeinerungen handelt. Jeder Einsatz von KI-Systemen muss letztlich auf Basis der geltenden Rechtsgrundlage im Einzelfall beurteilt werden.
Gesetzliche Grundlage für den Einsatz von KI-Systemen
Unabhängig von der KI-Technologie ist klar: Werden in einem System Personendaten bearbeitet, untersteht der Einsatz eines solchen Systems dem jeweiligen nationalen (Private und Bundesverwaltung) oder kantonalen (Kantonsverwaltung) Datenschutzgesetz. Werden besonders schützenswerte Personendaten bearbeitet, beispielsweise bei einer KI-basierten Klassenzuteilung unter Berücksichtigung von Gesundheitsdaten, ist in aller Regel eine explizite gesetzliche Grundlage für diesen Anwendungsfall notwendig. Dies gilt ebenfalls für das Profiling, welches beispielsweise bei einem personalisierten KI-Assistenten vorliegen könnte, wenn eine Vielzahl an «Leistungsdaten» einzelner Schülerinnen und Schüler über einen längeren Zeitraum automatisiert bearbeitet wird.
KI-spezifischer sind indes die Herausforderungen für die Gesetzgebung im Bildungsbereich (z.B. kantonale Volksschulgesetze). Denn KI-Systeme sind in der Lage, Zusammenhänge zu erkennen und Schlussfolgerungen zu ziehen, die weit über die Fähigkeiten von Menschen oder anderen Systemen hinausgehen. Der Bericht kommt entsprechend zu folgendem Schluss: Aktuell ist noch nicht abschliessend geklärt, ob jene bildungsspezifischen gesetzlichen Grundlagen, welche die Personendatenbearbeitung zur Erfüllung des Bildungsauftrags regeln, auch den Einsatz von umfassenden KI-Systemen miteinschliessen.
Verantwortlichkeiten sind unabhängig von KI-Systemen
KI-Systeme werden, wie andere digitale Produkte auch, von Bildungseinrichtungen häufig als Dienstleistung bei Dritten eingekauft. Das kann dazu führen, dass Personendaten durch Dritte bearbeitet werden und sich die Frage nach der datenschutzrechtlichen Verantwortlichkeit stellt.
Gemäss Bericht ist diese Frage nicht anders zu beurteilen, nur weil ein KI-System zum Einsatz kommt. Es muss also geklärt werden, wer die Verantwortliche ist und wer Auftragsbearbeiterin ist. Im Regelfall dürfte die Schule als Verantwortliche auftreten und Anbieterinnen von KI-Systemen (sowie allfällige Cloud-Anbieterinnen) als Auftragsdatenbearbeiterinnen. Aber auch hier gilt: Die Rollenverteilung hängt von der Konstellation im Einzelfall ab.
Personendaten als Trainingsdaten
Eine KI-spezifische Frage ist diejenige nach der zulässigen Verwendung von Personendaten für das Training oder die (Weiter-)Entwicklung von KI-Systemen. Auch hier betont der Bericht die Wichtigkeit der Beurteilung im Einzelfall. Grundsätzlich lässt sich laut Bericht jedoch festhalten, dass eine Verwendung als Trainings- oder Weiterentwicklungsdaten durch die Schule eher zulässig ist, wenn die Daten ursprünglich zu einem ähnlichen Zweck, wie derjenige des Trainings, erhoben wurden. Die Verwendung von Personendaten für das Training und die Weiterentwicklung durch den Anbieter des KI-Tools für eigene Zwecke dürfte hingegen nicht von der gesetzlichen Grundlage erfasst sein, weil sie wohl mit einer Zweckänderung verbunden wäre. Eine Verwendung zu einem anderen als dem gesetzlich vorgesehenen Zweck ist aber nur in Ausnahmefällen möglich.
Die grösste Praxisrelevanz misst der Bericht dem Ausnahmefall «Bekanntgabe für nicht-personenbezogene Zwecke» zu, wenn es um die Verwendung von Personendaten für das Training oder die (Weiter-)Entwicklung von KI-Systemen geht. Zu klären bleibt allerdings, ob eine solche Datenbearbeitung tatsächlich als nicht-personenbezogene Bearbeitung qualifiziert werden kann.
Entscheidungsfindung mittels KI-Systemen
Eine letzte Fragestellung – die wiederum eng mit KI verknüpft ist – ist die Verwendung von KI-Systemen für die Entscheidfindung. Denkbar wäre zum Beispiel, dass eine promotionsrelevante Leistungsbeurteilung oder eine Klassenzuteilung einer Schülerin oder eines Schülers durch ein KI-System erfolgt.
Wird das KI-System für eine automatisierte Einzelentscheidung verwendet, kann sich je nach gesetzlicher Grundlage z.B. eine Informationspflicht ergeben. Darüber hinaus können Betroffene, gestützt auf das datenschutzrechliche Auskunftsrecht, Informationen zur Logik der Entscheidung einfordern. Diese Logik zu erfassen, dürfte aus heutiger Sicht jedoch schwierig sein, da Entscheide aus KI-Systemen nicht vollständig nachvollziehbar sind.
Auch wenn der Entscheid für eine Verfügung nicht automatisiert zustande kam, gilt: Die Betroffenen haben das Recht auf eine Begründung. Dabei ist bis dato ungeklärt, ob die Outputs eines KI-Systems überhaupt begründbar sind.
Möglicher Umgang mit KI in der Bildung aus rechtlicher Sicht
Der Bericht zeigt: Viele der durch KI aufgeworfenen Fragen – vor allem im Zusammenhang mit den Verantwortlichkeiten – können mit den bestehenden datenschutzrechtlichen Vorgaben beantwortet werden. Rechtlicher Handlungsbedarf besteht allenfalls bei der Schulgesetzgebung. Insbesondere wenn KI-Systeme besonders schützenswerte Personendaten bearbeiten, ist zu prüfen, ob die allgemeinen Bestimmungen dieser Gesetze dafür ausreichen. Denn für die Bearbeitung von besonders schützenswerten Personendaten ist eine ausdrückliche gesetzliche Grundlage erforderlich.
Darüber hinaus gibt der Bericht Hinweise auf Entwicklungsansätze, sowohl auf technischer als auch auf systemischer Ebene. Auf technischer Ebene werden die Bemühungen in der Forschung rund um die «erklärbare KI» erwähnt. Diese Ansätze sollten dazu führen, dass die Outputs von KI-Systemen in Zukunft besser erklär- und nachvollziehbar werden, somit in rechtlich genügender Weise begründet werden können und die Einhaltung des Auskunftsrechts ermöglichen.
Auf systemischer Ebene nennt der Bericht im Wesentlichen drei Entwicklungsansätze. Erstens sollten Schulen oder Verwaltungen, die KI-Systeme einsetzen, angemessen informieren. Auch wenn die Informationspflicht entfällt, sobald eine Datenbearbeitung auf einer gesetzlichen Grundlage beruht, sollte der Einsatz von KI-Systemen im Sinne der Vertrauensbildung thematisiert werden. Zweitens sollten klare Prozesse definiert werden, um automatisierte Einzelentscheidungen beim Einsatz von KI-Systemen zu verhindern. Damit soll sichergestellt werden, dass die für den Entscheid verantwortlichen Personen die Empfehlungen von KI-Systemen im Licht ihrer eigenen Erkenntnisse und Erfahrungen eingehend prüfen. Drittens – und mit Blick auf die zu klärende Rechtslage in den Schulgesetzgebungen – schlägt der Bericht Pilotklauseln vor. Diese könnten beispielsweise die vorläufige Einführung von KI-Systemen auf Verordnungsebene ermöglichen, bis die notwendigen gesetzlichen Grundlagen vorliegen. Solche Pilotversuche tragen immer auch zum systemischen Lernen und damit zur Beantwortung vieler offener Fragen bei.
Die Zusammenfassung und Interpretation des referenzierten Berichts widerspiegelt die Lesart von Educa. Sie entspricht nicht zwingend derjenigen der Studienautorinnen und -autoren. Die Resultate des Berichts geben die Auffassung des ITSL wieder. Diese stimmt nicht notwendigerweise mit derjenigen des Staatssekretariats für Bildung, Forschung und Innovation (SBFI) und der Konferenz der kantonalen Erziehungsdirektorinnen und -direktoren (EDK) überein.