Es gibt viele kritische Diskussionen rund um die Verwendung von Künstlicher Intelligenz bei verschiedensten Tätigkeiten und ihre Einbindung in Arbeitsprozesse. Zur Entlastung des Redaktionsteams der Watchlist Internet bei der Bearbeitung der zahlreichen Meldungen und Crawler-Daten wurde eine teilautomatisierte Verarbeitung der Crawler-Daten in den Workflow integriert. Dies eröffnet neue Möglichkeiten zur Skalierung von Betrugsprävention und befreit Ressourcen für intensivere Hintergrundrecherchen. Zudem ist der Fake-Shop-Detector (FSD) ein KI-gestütztes System zur Identifikation betrügerischer Online-Shops, das eine Genauigkeitsrate von bis zu 90 % erreicht. Allerdings gehen damit grundlegende ethische und organisatorische Fragen einher. Dies haben wir uns in dem Studienbericht zu "Ethische Rahmenbedingungen in der automatisierten Betrugsdetektion" genauer angesehen. Ziel war es, unterschiedliche technische Tools und Workflows der Watchlist Internet kritisch auf ethische Aspekte mit Fokus auf KI zu untersuchen.

Dabei wurden der Fake-Shop-Detector (FSD) und der Shop-Check anhand von sieben Kerndimensionen vertrauenswürdiger KI der Europäischen Kommission evaluiert. Die Systeme erfüllen viele Kriterien für vertrauenswürdige KI bereits gut. Stärken sind vor allem die menschliche Aufsicht, eine robuste technische Performance (Fehlerraten unter zehn Prozent) und ein durchgängiger Datenschutz. Nachschärfen sollte man insbesondere bei der Transparenz – hier bleibt die Frage offen, wie viel öffentlich erklärt werden kann, ohne Sicherheitsaspekte zu gefährden. Außerdem wäre eine gezielte Überprüfung der Barrierefreiheit sinnvoll, um diese systematisch zu verbessern. Detailliertere Bias-Checks der Trainingsdaten könnten zusätzliche Hinweise auf mögliche Verzerrungen liefern. Zusätzlich wurden Model Cards zur transparenten Dokumentation der Systemarchitektur und Entscheidungslogik für den FSD erstellt.

Die manuelle Qualitätssicherung (Human-in-the-Loop-Ansatz) wurde separat anhand arbeitsrechtlicher und ethischer Fragestellungen in der Zusammenarbeit mit Data Workern analysiert. Festzuhalten bleibt, dass die Arbeitsbedingungen von Data Workern aktuell u.a. hinsichtlich fehlender Absicherungen bei gleichzeitiger Abhängigkeit und schlechter Bezahlung nur unzureichend sind. Plattformen sollten in diesem Bereich deutlich stärker in die Pflicht genommen werden, damit grundlegende Mindeststandards tatsächlich eingehalten werden. Gleichzeitig können auch Auftraggeber:innen aktiv zu faireren Human-in-the-Loop-Prozessen beitragen – etwa durch präzise Aufgabenbeschreibungen, angemessene Bezahlung, begleitende Schulungen und transparente, nachvollziehbare Feedbackmechanismen. Mittelfristig könnte für den Fake-Shop-Detector ein hybrider Ansatz sinnvoll sein: eine Mischung aus qualifizierten Freiwilligen (etwa aus Konsument:innenschutz-Communities) und geschulten Teilzeitkräften, ergänzt durch KI-gestützte Tools. Damit ließe sich die notwendige Skalierung mit einem stärker sozial eingebetteten Verantwortungsverständnis verbinden.

Insgesamt zeigt sich, dass KI-gestützte Betrugsdetektion neben der technischen vor allem eine organisatorische und ethische Gestaltungsaufgabe ist. Entscheidend ist, Skalierung und Wirksamkeit mit Transparenz, Barrierefreiheit und fairen Arbeitsbedingungen zusammenzudenken.