„Mehr Chats können überwacht werden“
Carmela Troncoso erläutert, welche Probleme es bei der vom europäischen Rat vorgeschlagenen freiwilligen Chatkontrolle und der obligatorischen Altersprüfung gibt
Frau Prof. Troncoso, was sind die wichtigsten Unterschiede zwischen dem neuen Vorschlag zur Chatontrolle und den vorherigen Vorschlägen? Gibt es Verbesserungen?
Es ist sehr erfreulich, dass der neue Vorschlag die obligatorische Chatkontrolle nicht mehr vorsieht. Das ist ein großer Fortschritt, um die dringend notwendigen Schutzmaßnahmen für Kinder im Internet mit den Sicherheits- und Datenschutzrisiken, die diese Maßnahmen für die Gesellschaft insgesamt mit sich bringen, in Einklang zu bringen. Andere Aspekte des Vorschlags bergen jedoch weiterhin hohe Risiken für die Gesellschaft, ohne dass klare Vorteile für Kinder erkennbar wären. So erweitert der neue Vorschlag den Umfang der Überprüfung: Nicht mehr nur Links und Bilder wie im vorherigen Vorschlag vorgesehen werden analysiert, sondern auch Textnachrichten und Videos. Dies wird unsere Persönlichkeitsrechte weiter einschränken und zu vielen weiteren falschen Meldungen führen, die die Wirksamkeit der Schutzmaßnahmen verringern. Der neue Vorschlag sieht auch eine obligatorischen Altersüberprüfung vor: Zum einen wenn Nutzerinnen Apps herunterladen wollen, bei denen ein hohes Risiko für die Verbreitung von CSAM und Grooming gesehen wird, zum Beispiel Messengerdienste, Spiele mit integrierten Chats und Soziale Medien wie X, Bluesky oder Facebook. Zum anderen soll das Alter überprüft werden, bevor diese Dienste oder bestimmte ihrer Funktionen genutzt werden.
Wie wird die Suche nach CSAM in Chats technisch umgesetzt?
Chats über Messengerdienste werden grundsätzlich anders überwacht als E-Mails. Die meisten E-Mail-Dienste verwenden heute keine Ende-zu-Ende-Verschlüsselung, sondern verschlüsseln eine E-Mail nur auf dem Weg vom Absender zum Server des Anbieters und vom Server zum Empfänger. Der Inhalt von E-Mails kann auf dem Server auf belastende Inhalte wie CSAM überprüft werden, was bereits geschieht. Chats über Messengerdienste wie WhatsApp oder Signal werden Ende-zu-Ende verschlüsselt. Das bedeutet, dass Nachrichten auf dem Gerät des Absenders verschlüsselt und erst auf dem Gerät des Empfängers entschlüsselt werden. Um sie auf CSAM zu durchsuchen, soll das sogenannte Client-Side-Scanning genutzt werden.
Warum verstößt Client-Side-Scanning gegen den Datenschutz?
Beim Client-Side-Scanning bleibt die Ende-zu-Ende-Verschlüsselung zwar bestehen, wird aber unterlaufen: Um CSAM zu erkennen, müssen Inhalte auf dem Gerät des Absenders überprüft werden, bevor sie verschlüsselt werden.
In die Messenger-App oder in das Betriebssystem würde eine Erkennungssoftware eingebaut, die Chat-Inhalte überprüft und verbotene Inhalte automatisch an Strafverfolgungsbehörden weiterleitet. Sobald der Inhalt einer Partei bekannt ist, die nicht der Absender oder Empfänger ist, wird der Schutz durch die Verschlüsselung hinfällig.
Wie soll beim Client-Side-Scanning CSAM, beispielsweise Bilder, identifiziert werden?
Dabei wird zwischen der Suche nach bekanntem und unbekanntem Bildmaterial unterschieden. Wenn es um bekanntes CSAM geht, können für den Abgleich vor der Verschlüsselung bekannte kinderpornografische Bilder natürlich nicht auf die Geräte von Nutzern geladen werden, weil diese sonst in Besitz von Missbrauchsdarstellungen kämen. Daher werden von bekannten Missbrauchsdarstellungen sogenannte Hashes erzeugt und auf die Geräte von Nutzerinnen und Nutzern geladen. Ein Hash ist eine Zeichenfolge, die als mathematischer Fingerabdruck dient. Für die Suche nach unbekannten Missbrauchsdarstellungen kann eine Software mithilfe von maschinellem Lernen trainiert werden.
Ist Client-Side-Scanning bei der Erkennung von CSAM wirksam?
Die kurze Antwort lautet: Nein. Forschungsergebnisse zeigen, dass der Einsatz von Software zum Vergleich von Chat-Inhalten mit bekanntem CSAM nicht wirksam ist. Die Erkennung kann leicht umgangen werden, indem einfach einige Pixel im Foto verändert werden.
Bei der KI-gestützten Suche nach unbekannten Missbrauchsdarstellungen besteht ein sehr hohes Risiko, dass auch harmlose Bilder als problematisch identifiziert werden, beispielsweise Fotos von Kindern am Strand oder von Hauterkrankungen, die Eltern an einen Kinderarzt schicken. Die derzeitige Technik ist einfach nicht in der Lage, Missbrauchsdarstellungen zuverlässig zu detektieren. Daher überwiegen die Vorteile dieses Gesetzes nicht die Risiken für die Privatsphäre der Nutzer.
Gilt dies auch für Textnachrichten?
Der neue Vorschlag sieht vor, Texte mithilfe von KI auf Aktivitäten wie Grooming zu analysieren. Grooming beschreibt die Art und Weise, wie ein Täter eine emotionale Bindung zu seinem Opfer aufbaut. Wie bei allen anderen KI-basierten Fällen ist die Erkennung auch hier unvollkommen. Darüber hinaus kann Grooming in Textkommunikation anderen Interaktionen sehr ähneln, die in einem freundschaftlichen Kontext völlig akzeptabel sind, wie zum Beispiel Chats mit Verwandten oder engen Freunden oder Chats zwischen Teenagern, die neue Beziehungen anbahnen. Daher wird es nur zu mehr falschen Anschuldigungen kommen, da solche Situationen mit illegalen Aktivitäten verwechselt werden. Wenn die Chatkontrolle auf Textnachrichten und Videos ausgeweitet wird, kann das den Schutz von Kindern sogar beeinträchtigen, da Ermittler mit falschen Anschuldigungen überflutet werden. So werden sie daran gehindert, die tatsächlichen Fälle zu untersuchen. Zusammenfassend lässt sich sagen, dass eine Ausweitung des gescannten Materials nur dazu führt, dass mehr Chats überwacht werden können, ohne dass es einen besseren Schutz vor der Verbreitung von Missbrauchsdarstellungen gibt.
Werden Missbrauchdarstellungen überhaupt in nennenswertem Umfang über Messengerdienste verbreitet?
Die Wahrheit ist: Wir wissen es nicht, weil die Chats verschlüsselt sind. Strafverfolgungsbehörden gehen aber davon aus, dass die Dienste für die verbreitung von CSAM genutzt werden.
Wären Minderjährige besser geschützt, wenn sie für die Nutzung der Dienste ihr Alter verifizieren müssten?
Eine Altersverifikation könnte dazu beitragen, Minderjährige daran zu hindern, auf bestimmte Inhalte oder Anwendungen zuzugreifen. Aber ihre Wirksamkeit ist nicht garantiert, und sie birgt Risiken für die Privatsphäre und könnte zu Diskriminierung führen. Wenn die Überprüfung durch den Scan eines vollständigen Dokuments zum Beispiel des Personalausweises erfolgt, bestehen offensichtliche Sicherheits- und Datenschutzrisiken, und sie ist unverhältnismäßig, da sie weit mehr Informationen als nur das Alter preisgibt. Und Lösungen zum Schutz der Privatsphäre können eine Abhängigkeit von Software und Hardware mit sich bringen, da die Technik nur mit bestimmten Geräten genutzt werden kann. Selbst ohne die diese Probleme kann die Einführung der Technik zu Diskriminierung führen, da nur diejenigen Personen das System nutzen können, die einen Altersnachweis einer autorisierten Stelle vorlegen können.
Ein erheblicher Teil der Bevölkerung wie etwa Migrantinnen und Migranten sowie Kinder aus sozial schwachen Familien hat möglicherweise keinen einfachen Zugang zu Dokumenten, die einen solchen Nachweis ermöglichen. Außerdem ist nicht sicher, wie wirksam Altersüberprüfungen sind, weil sie leicht umgangen werden können. So wechseln Nutzerinnen und Nutzer etwa im Vereinigten Königreich vermehrt zu anderen Anbietern, außerdem können sie die fraglichen Dienste über VPNs nutzen. Wenn Kinder ihre Kommunikation in alternative unsichere, möglicherweise unverschlüsselte Kanäle verlagern, könnte das die Risiken für sie erhöhen. Denn möglicherweise werden die Kanäle von böswilligen Akteuren betrieben werden.
Würde eine Altersprüfung anhand biometrischer, verhaltensbezogener und kontextbezogener Informationen wie etwa von Browserverläufen die von Ihnen genannten Probleme lösen?
Eine solche Altersprüfung ist wesentlich invasiver als die Alterskontrolle per Ausweisdokument, da sie einen Anreiz für eine umfangreichere Datenerhebung schafft. Sie birgt ein unverhältnismäßig hohes Risiko schwerwiegender Datenschutzverletzungen, da sie derzeit überwiegend auf KI-basierten Methoden beruht, die die erforderlichen Datentypen zum Beispiel biometrische Daten bekanntermaßen mit hohen Fehlerquoten verarbeiten und gegenüber bestimmten Minderheiten voreingenommen sind.
Gibt es eine Alternative zu einer stärkeren Kontrolle im Internet, die besser geeignet ist, um die Sicherheit von Kindern zu gewährleisten?
Der aktuelle Vorschlag sieht hauptsächlich technische Lösungen vor, die auf Kosten der Kommunikationssicherheit und der Privatsphäre missbräuchliche Inhalte aus dem Internet entfernen oder Barrieren schaffen.
Angesichts der Grenzen der Technik dürfte das kaum dazu beitragen, den Missbrauch von Kindern zu verhindern. Wir erinnern daran, dass CSAM-Inhalte das Ergebnis sexuellen Missbrauchs von Kindern sind. Die Beseitigung von CSAM hängt daher von der Beseitigung des Missbrauchs ab, und nicht nur davon, die digitale Verbreitung von Missbrauchsmaterial zu verhindern. Anstatt weiterhin auf Techniken mit zweifelhafter Wirkung wie die Chatkontrolle und Altersüberprüfungen zu setzen, die die Sicherheit und Privatsphäre erheblich schwächen, sollten die von Organisationen wie den Vereinten Nationen empfohlenen Maßnahmen umgesetzt werden. Dazu gehören Aufklärung über Einwilligung, Normen und Werte, digitale Kompetenz und Online-Sicherheit sowie umfassende Sexualaufklärung und traumasensible Hotlines für Meldungen.
Das Interview führte Peter Hergersberg.