Förderjahr 2025 / Projekt Call #20 / ProjektID: 8018 / Projekt: Qriouso

Warum KI-Sicherheit in der Schule mehr ist als ein Inhaltsfilter

Viele KI-Systeme wirken heute auf den ersten Blick sicher. Sie blockieren Hassrede, Gewalt, sexülle Inhalte, Selbstverletzung oder gefährliche Anleitungen, erkennen problematische Wörter, prüfen Prompts und verhindern manche Antworten, bevor sie an Nutzerinnen und Nutzer gehen. Das ist wichtig — aber im Bildungsbereich reicht es nicht aus.

Der Grund ist einfach: Ein Arbeitsblatt kann völlig harmlos klingen und trotzdem ein pädagogisches Problem enthalten. Es kann keine Gewalt, keine Beleidigung und keinen offensichtlich verbotenen Inhalt enthalten, aber trotzdem stereotype Rollenbilder wiederholen. Es kann Mädchen zufällig seltener in technischen Rollen zeigen, Kinder aus Familien mit weniger Ressourcen übersehen oder bestimmte kulturelle Erfahrungen als Norm behandeln und andere nur als Ausnahme. Es kann sprachlich korrekt sein, aber nicht barrierearm. Es kann eine Aufgabe erzeugen, die fachlich funktioniert, aber für eine Schulstufe, eine Klasse oder einen österreichischen Unterrichtskontext nicht gut passt. Genau hier endet normale KI-Moderation.

Wo normale Moderation aufhört

Ein klassischer Inhaltsfilter fragt: Ist dieser Text gefährlich, beleidigend, sexüll, selbstverletzungsbezogen oder rechtswidrig? Für viele Plattformen ist das die richtige erste Frage. Für Schule ist es nur der Anfang. Bildung braucht eine zweite, schwierigere Frage: Ist dieser Inhalt verantwortbar als Lernmaterial?

Diese Frage ist viel feiner. Sie betrifft nicht nur das, was explizit im Text steht, sondern auch das, was immer wieder mitschwingt. Wer wird als kompetent dargestellt? Wer erklärt, wer hilft, wer ist erfolgreich? Wer kommt nur als Problemfall vor? Welche Sprache wird als normal angenommen, welche Lebensrealitäten werden vorausgesetzt, welche Rollenbilder werden beilaufig verstärkt? Und welche Gruppen bleiben unsichtbar, obwohl sie in einer Klasse selbstverständlich mitlernen? Diese Risiken sind oft nicht laut — sie sind leise.

Ein Satz wie "Der Schüler erklärt, warum Mädchen schlechter in Mathe sind" ist nicht nur ein unglückliches Beispiel; er verbindet ein Fach, eine Gruppe und eine Fähigkeitsannahme. Ein Text über Berufe, in dem Ärztinnen, Technikerinnen oder Väter in Sorgearbeit nie vorkommen, ist vielleicht nicht beleidigend, aber er stabilisiert ein Bild davon, was als typisch gilt. Eine Aufgabe, die selbstverständlich ein eigenes Zimmer, einen Laptop, teure Materialien oder elterliche Nachhilfe voraussetzt, kann für manche Schülerinnen und Schüler ausschließend wirken, ohne dass ein normaler Sicherheitsfilter anschlägt.

Was QriousGuard anders macht

Genau das ist das Problem, das QriousGuard adressiert. QriousGuard ist nicht einfach ein weiterer Filter vor dem Sprachmodell, sondern eine Sicherheits- und Qualitätsarchitektur für Bildungsinhalte. Der Unterschied ist entscheidend: Ein Filter entscheidet meist, ob etwas erlaubt oder verboten ist. QriousGuard fragt zusätzlich, ob ein Inhalt für den konkreten schulischen Zweck, die Sprache, die Altersgruppe und den österreichischen Bildungskontext angemessen ist.

Internationale Leitlinien zeigen, warum diese Unterscheidung wichtig wird. UNESCO fordert für generative KI in Bildung und Forschung einen menschenzentrierten, altersangemessenen und pädagogisch validierten Einsatz. Der EU AI Act behandelt Bildung und berufliche Ausbildung als besonders sensiblen Bereich, wenn KI Zugang, Bewertung oder Lernwege beeinflusst. Das NIST Generative AI Risk Profile beschreibt generative KI nicht nur als technisches Modellproblem, sondern als Frage von Risikomanagement, Evaluation, Transparenz und vertraünswürdiger Anwendung. Diese Dokumente sagen im Kern dasselbe: Es reicht nicht, ein Modell "nett" zu instruieren — Systeme müssen nachweisen können, wie sie Risiken erkennen, begrenzen, dokumentieren und durch Menschen kontrollierbar machen.

Warum das für Schule besonders gilt

Unterrichtsmaterial ist nicht neutral, nur weil es freundlich klingt. Lernmaterial wirkt durch Wiederholung. Wenn Aufgaben, Beispiele und Erklärungen über Wochen und Monate bestimmte Rollenbilder reproduzieren, entsteht daraus ein stiller Lehrplan. Schülerinnen und Schüler lernen dann nicht nur Mathematik, Deutsch oder Biologie — sie lernen nebenbei, wer angeblich zu welchem Fach passt, wessen Sprache als Standard gilt und welche Lebensrealitäten in Aufgaben selbstverständlich vorkommen.

Dieses Problem ist älter als KI. Schulbücher wurden schon lange auf Repräsentation, Sprache und Rollenbilder untersucht. Neu ist aber die Geschwindigkeit: Generative KI kann in Sekunden neue Aufgaben, Lesetexte, Beispiele, Differenzierungen und Arbeitsblätter erstellen. Damit skaliert nicht nur die Produktivität, sondern auch das Risiko, dass unbemerkte Muster in großer Menge in den Unterricht gelangen. Forschung zu Large Language Models bestätigt genau diese Schwierigkeit: Studien finden immer wieder stereotype Muster in generierten Texten, auch dann, wenn Modelle auf direkte Bias-Fragen scheinbar korrekt reagieren. Untersuchungen zu personalisierter Bildung zeigen, dass Modelle je nach zugeschriebenen Merkmalen unterschiedliche Erklärungen erzeugen können, und Forschung zu Sprach- und Dialektbias zeigt, dass problematische Bewertungen nicht immer über offene Beleidigung laufen, sondern oft über verdeckte sprachliche Muster.

Für Qriouso ist das kein abstraktes Forschungsthema. Wenn eine Lehrperson KI nutzt, um Unterrichtsmaterial zu erstellen, geht es nicht nur um schöne Formulierungen — es geht um Vertraün. Eine Lehrperson muss wissen: Wurde der Inhalt geprüft? Wurden problematische Rollenbilder erkannt? Gibt es eine bessere Formulierung? Wurde die Entscheidung dokumentiert? Kann ich als Mensch widersprechen? Und lernt das System aus meinem Feedback? Genau dafür braucht es QriousGuard.

Mehrere Risikofamilien statt einer Ja-Nein-Entscheidung

QriousGuard arbeitet mit mehreren Risikofamilien statt nur mit einer allgemeinen Moderationsentscheidung. Dazu gehören Bias, pädagogische Angemessenheit, sprachliche Qualität, kulturelle Sensibilität, sozioökonomische Annahmen, Alters- und Schulstufenpassung, Barrierefreiheit, Datenschutz und allgemeine Sicherheit. Ein Text wird dadurch nicht nur als "sicher" oder "unsicher" behandelt — er wird in einem pädagogischen Kontext gelesen.

Das ist besonders im österreichischen Schulkontext wichtig. Das Bildungsministerium betont in seinen Materialien zu reflexiver Geschlechterpädagogik und Gleichstellung, dass Schule stereotype Zuweisungen reflektieren und Handlungsspielräume erweitern soll. Auch bei Unterrichtsmitteln spielen geschlechtergerechte Sprache, ausgewogene Darstellung und Antidiskriminierung eine Rolle. Ein allgemeiner KI-Filter kennt solche Anforderungen nicht automatisch — er mag erkennen, ob ein Satz beleidigend ist, bewertet aber nicht zuverlässig, ob ein Arbeitsblatt österreichische Gleichstellungs- und Unterrichtsmittelstandards unterstützt.

Differenzierte Entscheidungen statt Schwarz-Weiss

QriousGuard betrachtet generierte Inhalte als Teil einer Kette: Modellantwort, Prüfung, mögliche Korrektur, menschliches Feedback und spätere Verbesserung. In dieser Kette kann an mehreren Stellen eingegriffen werden: Eine generierte Aufgabe kann geprüft werden, eine inklusive Alternative kann vorgeschlagen werden, ein unklarer Fall kann für menschliche Review priorisiert werden, eine bestätigte Korrektur kann als Lernsignal gespeichert werden. Diese Mehrstufigkeit ist der eigentliche Unterschied.

Ein einzelner Klassifikator kann sagen: "Ich sehe ein Risiko." QriousGuard muss mehr können — es muss erklären, welches Risiko gemeint ist, wie schwer es ist, welcher Textausschnitt betroffen ist, welche Maßnahme sinnvoll wäre und ob die Antwort danach tatsächlich besser geworden ist. Deshalb unterscheidet die Architektur zwischen verschiedenen Entscheidungen wie pass, rewrite, reask, abstain, escalate und block. Nicht jedes Problem muss blockiert werden: Manche Inhalte brauchen eine Umformulierung, manche eine Rückfrage, manche sollten an eine Lehrperson eskaliert werden, und manche dürfen nicht weiterverwendet werden.

Das ist pädagogisch sinnvoller als ein reines Schwarz-Weiss-System. Denn inklusive Qualität entsteht nicht dadurch, dass möglichst viel verboten wird — sie entsteht dadurch, dass Lehrpersonen bessere Alternativen bekommen. Wenn ein Text generische männliche Formen, stereotype Berufsrollen oder unklare kulturelle Zuschreibungen enthält, ist die beste Antwort oft nicht "Dieser Inhalt ist verboten", sondern "Hier ist das Problem, hier ist eine verständlichere und inklusivere Variante, und hier ist der Grund dafür."

Erkennung mit Mitigation

QriousGuard verbindet deshalb Erkennung mit Mitigation. Das System kann problematische Stellen markieren, Korrekturvorschläge erzeugen und prüfen, ob die Korrektur den Sinn erhält. Das ist wichtig, weil eine automatische Verbesserung sonst leicht neue Probleme erzeugt: Eine inklusive Umformulierung darf nicht unlesbar werden, sie darf fachliche Aussagen nicht verändern, sie muss zur Schulstufe passen, sie muss im österreichischen Deutsch funktionieren und sie sollte, wenn möglich, barrierearm bleiben.

Gerade bei Sprache zeigt sich, warum ein allgemeiner Filter nicht genügt. Geschlechtergerechte Formulierungen sind nicht nur eine technische Ersetzung von Wörtern — unterschiedliche Formen haben unterschiedliche Lesbarkeit, unterschiedliche institutionelle Akzeptanz und unterschiedliche Barrierefreiheit. Ein Stern, ein Doppelpunkt, eine Paarform oder eine neutrale Form kann je nach Kontext besser oder schlechter sein. QriousGuard betrachtet deshalb auch Accessibility und sprachliche Nutzbarkeit, nicht nur die Frage, ob ein Wort formal "inklusiv" wirkt.

Gegenprüfung

Sprachmodelle können überzeugend formulieren, auch wenn die zugrunde liegende Entscheidung unsauber ist. Deshalb braucht es Prüfungen nach der Generierung. QriousGuard kann Inhalte nach Risikofamilien untersuchen, Gegenvarianten betrachten und prüfen, ob sich Aussagen verändern, wenn geschützte Merkmale ausgetauscht werden. Solche counterfactual checks sind wichtig, weil Bias oft erst im Vergleich sichtbar wird: Wenn dieselbe Aufgabe anders klingt, sobald aus einem Jungen ein Mädchen, aus einer deutschsprachigen Familie eine mehrsprachige Familie oder aus einem Kind mit viel Unterstützung ein Kind mit wenig Unterstützung wird, ist das ein Signal.

Menschliche Aufsicht und Lernkreislauf

Diese Signale müssen nicht automatisch das letzte Wort haben. Im Bildungsbereich bleibt menschliche Aufsicht zentral, und QriousGuard ist deshalb als lehrpersonenkalibriertes System gedacht. Lehrpersonen können Funde bestätigen, ablehnen oder Rückmeldung geben. Daraus entsteht ein Lernkreislauf: erkannte Muster werden verbessert, unklare Fälle werden priorisiert, Korrekturvorschläge werden an die Praxis angepasst. Das System soll nicht behaupten, dass es pädagogisches Urteil ersetzt — es soll dieses Urteil sichtbar, wiederverwendbar und skalierbar machen.

Das ist ein wichtiger Unterschied zu vielen KI-Demos. Eine Demo zeigt oft, dass ein Modell schnell ein Arbeitsblatt erzeugen kann; für ein echtes Schulprodukt reicht diese Geschwindigkeit nicht. Die entscheidende Frage lautet: Was passiert danach? Wird geprüft, ob die Aufgaben stereotype Annahmen enthalten? Wird dokumentiert, welche Risiken gefunden wurden? Gibt es eine nachvollziehbare Entscheidung? Kann die Lehrperson eingreifen? Wird aus bestätigten Fällen gelernt? Gibt es Metriken, die zeigen, ob das System besser wird?

QriousGuard macht diese Fragen zum Teil der Architektur. Es gibt Trace IDs, Audit-Informationen, Metriken, Review-Queues und Rollout-Gates. Das klingt zunächst technischer als ein normaler Blog über KI, aber genau diese technischen Elemente schaffen Vertraün. Eine Lehrperson braucht keine rohe JSON-Antwort, aber sie braucht die Gewissheit, dass hinter einer Empfehlung mehr steckt als eine spontane Modellbehauptung. Ein Projektbericht braucht nicht nur schöne Screenshots, sondern Nachweise, dass Risiken erkannt, Entscheidungen protokolliert und Verbesserungen messbar werden.

Eine Lücke im Markt

QriousGuard ist damit auch eine Antwort auf eine Lücke im Markt. Viele allgemeine Guardrails sind für Plattformrisiken gebaut und schützen vor offensichtlichen Schäden — sie sind notwendig, aber nicht hinreichend. Der Bildungsbereich braucht zusätzlich domänenspezifische Guardrails: nicht nur "Ist das erlaubt?", sondern "Ist das gutes Lernmaterial?"; nicht nur "Ist der Text toxisch?", sondern "Welche impliziten Annahmen vermittelt er?"; nicht nur "Wurde etwas blockiert?", sondern "Wurde eine bessere pädagogische Alternative gefunden?".

Diese Lücke ist aktüll nicht zuverlässig abgedeckt. Ein normales Moderationssystem erkennt vielleicht Hassrede, aber nicht unbedingt subtile Unterrepräsentation. Es erkennt Gewalt, aber nicht unbedingt stereotype Berufsverteilung. Es erkennt Selbstverletzung, aber nicht unbedingt sozioökonomische Ausschlüsse in Aufgabenstellungen. Es erkennt sexülle Inhalte, aber nicht unbedingt unpassende Schulstufenlogik. Es erkennt Datenschutzrisiken, aber nicht automatisch fehlende Barrierefreiheit. Und es erkennt nicht von selbst, welche österreichischen Unterrichtsprinzipien und Sprachkonventionen für ein konkretes Material relevant sind.

Sicherheit als Bildungsfrage

QriousGuard erweitert deshalb den Sicherheitsbegriff. Sicherheit bedeutet im Schulkontext nicht nur, Schaden zu verhindern — sie bedeutet auch, Lernräume fairer, nachvollziehbarer und inklusiver zu gestalten. Dazu gehört, dass KI nicht unbemerkt alte Muster in neue Materialien schreibt, dass Lehrpersonen Hinweise zu erkannten Risiken bekommen, bevor sie Inhalte übernehmen, und dass die Plattform nicht nur generiert, sondern Verantwortung für die Qualität des Generierten übernimmt.

Natürlich löst auch QriousGuard nicht jedes Problem automatisch. Bias, Inklusion und pädagogische Angemessenheit sind keine einfachen Ja-Nein-Fragen — es wird Grenzfälle, falsche Alarme und unterschiedliche Meinungen über Formulierungen geben. Genau deshalb ist die Architektur nicht als endgültiger Richter gebaut, sondern als kontrollierbarer Prozess: Das System erkennt, erklärt, schlägt vor, prüft und lernt, und die Lehrperson bleibt Teil der Entscheidung. Das ist realistischer als die Vorstellung, man könne Bildungssicherheit mit einem einzigen Prompt oder einem einzigen Filter lösen. Ein Prompt kann sagen "Schreibe inklusiv", ein Filter kann sagen "Dieser Inhalt ist gefährlich" — QriousGuard verbindet beides und geht darüber hinaus: Es muss den Bildungskontext kennen, Risiken differenzieren, bessere Alternativen erzeugen, menschliches Feedback aufnehmen und Entscheidungen später nachvollziehbar machen.

Fazit

Für Qriouso ist QriousGuard kein Zusatzmodul am Rand, sondern ein Kernbestandteil der Produktidee. Wenn Qriouso Lehrpersonen bei der Erstellung, Anpassung und Wiederverwendung von Unterrichtsmaterial unterstützt, muss Sicherheit dort stattfinden, wo Material entsteht — nicht erst in einer späteren Beschwerde, nicht nur bei offensichtlichen Extremfällen, sondern im normalen Arbeitsfluss: bei der Generierung, bei der Prüfung, bei der Korrektur und beim Lernen aus Rückmeldungen.

Die eigentliche Innovation liegt also nicht darin, dass KI Inhalte schreibt — das können viele Systeme. Die eigentliche Innovation liegt darin, dass Qriouso Inhalte in einen verantwortbaren pädagogischen Prozess bringt. QriousGuard prüft nicht nur, ob Text gefährlich ist, sondern fragt, ob ein Material fairer, klarer, zugänglicher und besser für den Unterricht werden kann. Es macht aus einer spontanen Modellantwort einen prüfbaren Bildungsbaustein.

Oder kürzer gesagt: Der Chatbot erzeugt Text. QriousGuard hilft dabei, daraus verantwortbare Bildungsinhalte zu machen.

Verwendete Online-Qüllen zur inhaltlichen Absicherung: UNESCO Guidance for Generative AI in Education and Research, EU AI Act Annex III, NIST AI RMF Generative AI Profile, BMB/BMBWF-Seiten zu reflexiver Geschlechterpädagogik und Unterrichtsmitteln, OpenAI Moderation, Azure AI Content Safety, Google Vertex AI Safety Filters, UCL/UNESCO-Berichte zu LLM-Bias, Nature-Studie zu Dialektbias und Forschung zu LLM-Bias in personalisierter Bildung.