Have the article read by OpenAI (Beta). Please note that AI translations may take some time to process.Die Europäische Union fährt angesichts der großen Empörung über den Einsatz von Künstlicher Intelligenz (KI), die im Netz die Privatsphäre und Würde von Menschen verletzt, schwere Geschütze auf.
Nach dem Skandal um von Grok AI – dem in Elon Musk’s Plattform X integrierten Chatbot – erzeugten sexualisierten Bilder erwägt Brüssel, die Erstellung sexueller Deepfakes als verbotene Praxis im Rahmen des Artificial Intelligence Act (AI Act, oder: KI-Gesetz) einzustufen.
Empörung über Grok
Musk’s Unternehmen xAI führte – nach anhaltender internationaler Kritik – Mitte Januar neue Beschränkungen für die Erzeugung sexuell anzüglicher KI-Bilder in Grok ein. Der Schritt folgte Vorwürfen, Grok habe es Nutzenden ermöglicht, Frauen digital “auszuziehen”, indem etwa Kleidung durch Bikinis ersetzt wurde. In einigen Fällen betraf dies auch Minderjährige.
Die ersten Bilder von Menschen, die ohne ihre Einwilligung digital ausgezogen wurden („Nudification“), tauchten bereits in den ersten Tagen nach der Einführung der neuen Funktion auf, verbreiteten sich aber insbesondere rund um Silvester. Laut CNN wurde Grok allein zwischen dem 5. und 6. Januar genutzt, um mindestens 6.700 sexuelle Bilder zu erzeugen. Diese zeigten häufig Frauen oder Minderjährige. Eine spätere Untersuchung der New York Times ergab, dass innerhalb von 9 Tagen etwa 1,8 Millionen sexualisierte Bilder durch Grok geteilt wurden.
„Grok bietet jetzt einen ‘Spicy Mode’ an, der explizite sexuelle Inhalte mit teilweise kindlichen Bildern zeigt. Das ist nicht pikant. Das ist illegal. Das ist empörend,“ sagte Thomas Regnier, Sprecher für digitale Angelegenheiten der EU, Anfang Januar vor Reportern.
Die Europäische Kommission, die als digitale Aufsichtsbehörde des Blocks fungiert, erklärte, sie werde die nun von X eingeführten Beschränkungen zur Kenntnis nehmen und prüfen. Behörden warnten, dass die EU den gesamten Anwendungsbereich des Digital Services Act (DSA) ausschöpfen werde, falls die Schritte nicht ausreichen.
Kommissions-Vizepräsidentin Henna Virkkunen sagte, die Kommission erwäge, diese Art von KI‑generierten sexualisierten Bildern ausdrücklich als „inakzeptable Risiken“ im Rahmen des AI Acts zu verbieten.
Das Verbot schädlicher Praktiken im Bereich der KI könne relevant sein, um das Problem nicht einvernehmlicher sexueller Deepfakes und Kinderpornografie anzugehen, sagte Virkkunen, die zudem Kommissarin für Technologische Souveränität, Sicherheit und Demokratie ist, in der Plenarsitzung des Europäischen Parlaments in dieser Woche in Straßburg. Ergänzend fügte sie hinzu, der DSA verringere das Risiko, dass sexuelles Material ohne Einwilligung online verbreitet werde.
Sie erinnerte auch daran, dass die Kommission X im Rahmen der DSA-Untersuchung zur Vorlage von Informationen zu Grok aufgefordert hatte.
Die Plattform solle bis Jahresende sämtliche internen Dokumente und Daten dazu sichern. „Wir prüfen nun, inwieweit X möglicherweise ohnehin gegen den DSA verstößt, und werden nicht zögern, weitere Schritte einzuleiten, falls die Hinweise darauf hindeuten,“ sagte sie.
Die Kommission hatte den Druck auf X bereits zuvor erhöht: Das Unternehmen war Anfang Dezember wegen mangelnder Transparenz mit einer Geldstrafe von 120 Millionen Euro belegt worden. Die EU beharrt darauf, ihre Regeln durchzusetzen – trotz Kritik seitens der US‑Regierung.
„Der DSA ist in Europa sehr klar. Alle Plattformen müssen vor der eigenen Haustür kehren, denn das, was sie hier erzeugen, ist inakzeptabel. Und die Einhaltung des EU‑Rechts ist keine Option. Sie ist eine Verpflichtung,“ sagte Regnier auf dem Höhepunkt des Skandals Anfang Januar.
In der vergangenen Woche hatte eine Gruppe von rund 50 Abgeordneten die Kommission aufgefordert, KI‑Apps zur Erstellung von Nacktbildern vom EU‑Markt zu verbannen.
Ein Leben ohne X ist möglich, aber…
Trotz der Kritik an X veröffentlichen nahezu alle ranghohen EU‑Beamtinnen und ‑Beamten weiterhin Beiträge auf der Plattform und nicht auf europäischen Alternativen, wie Recherchen der dpa zeigen.
EU‑Kommissionspräsidentin Ursula von der Leyen und andere Spitzenvertreterinnen und ‑vertreter verfügen weiterhin über keine offiziellen Konten auf Mastodon, einer in Deutschland ansässigen Alternative. Virkkunen eröffnete im Januar ein offizielles Konto auf Mastodon. Hochrangige EU‑Politikerinnen und ‑Politiker sind zudem auf Bluesky aktiv, einer weiteren US‑Plattform, die derzeit an Popularität gewinnt.
Die Kommission begründet die fortgesetzte Nutzung von X mit dessen Reichweite: Mastodon zählt laut den Unternehmen rund 750.000 monatliche Nutzerinnen und Nutzer, während X auf 100 Millionen kommt.
Der steinige Weg zu mehr Sicherheit im Netz
Der Prozess für besseren Schutz Minderjähriger online in der EU ist langwierig, da Interessen in den Bereichen Datenschutz, Wirtschaft und Schutzbedürftigkeit aufeinandertreffen. Mehrere Regelwerke greifen ineinander:
- Chat Control
Die Kommission legte 2022 einen Vorschlag für eine Verordnung vor, der Plattformen verpflichten sollte, Bilder und Videos von Missbrauch (sogenanntes „child sexual abuse material“ oder CSAM) sowie Versuche von Täterinnen und Tätern aufzuspüren, die Minderjährige kontaktieren, und zu melden.
Der als „Chat Control“ bekannte Plan löste eine heftige Datenschutzdebatte innerhalb der 27 Mitgliedstaaten aus und führte zu Vorwürfen von versuchter Massenüberwachung.
Die endgültige Gesetzgebung soll Anfang 2026 ausverhandelt werden und dabei eine Brücke schlagen zwischen dem datenschutzorientierten Ansatz des Parlaments und dem Wunsch des Rates nach weitreichenden freiwilligen Scan‑Befugnissen.
Während die vorübergehenden freiwilligen Scan-Maßnahmen bis April 2026 verlängert wurden, um ein rechtliches Vakuum zu verhindern, betonen MEPs die Dringlichkeit einer dauerhaften Lösung.
- DSA
Die Europäische Union nutzt den Digital Services Act, um Online‑Plattformen zu sanktionieren – durch massive Geldbußen, die Anordnung unmittelbarer betrieblicher Änderungen und im äußersten Fall die vorübergehende Aussetzung ihrer Dienste.
Bußgelder sind möglich, wenn Plattformen gegen im DSA festgelegte Pflichten verstoßen, sich interimistischen Maßnahmen widersetzen oder Zusagen brechen.
Der DSA ist eine EU‑Verordnung für eine sicherere Online‑Umgebung und verpflichtet Plattformen, illegale Inhalte zu bekämpfen, Nutzerinnen und Nutzer zu schützen und Transparenz zu erhöhen.
- KI-Gesetz
Der AI Act wurde 2024 verabschiedet und ist weltweit der erste umfassende Rechtsrahmen für künstliche Intelligenz. Er basiert auf einem risikobasierten System, um KI‑Technologien in der EU zu regulieren, damit sie sicher und vertrauenswürdig sind und Grundrechte achten sowie Innovation ermöglichen.
Er verbietet bestimmte unzulässige KI‑Praktiken wie soziales Scoring und legt Regeln für Hochrisikobereiche fest – etwa in der kritischen Infrastruktur oder in Beschäftigungsverhältnissen. Zudem enthält er Beschränkungen für manipulative KI-Anwendungen, darunter Deepfakes, die sich gegen Kinder richten.
- Verbote von sozialen Medien
Frankreich, wo erwägt wird, soziale Medien für Kinder unter 15 Jahren zu verbieten, testet seit diesem Sommer eine App zur Altersverifizierung, die von der Europäischen Kommission entwickelt wurde. Dieses Instrument ist eines von mehreren Verfahren zur Altersüberprüfung im Internet – ein schwieriges Thema für Technologiekonzerne und Behörden gleichermaßen.
Individuelle Maßnahmen
In Spanien forderte Sira Rego, die für Kinder und Jugendliche zuständige Ministerin, Anfang Januar die Generalstaatsanwaltschaft auf, zu prüfen, ob Grok möglicherweise Straftaten im Zusammenhang mit der Verbreitung von Material des sexuellen Missbrauchs von Kindern begeht.
Spanien arbeitet derzeit an einem eigenen Gesetz zum Schutz Minderjähriger in digitalen Umgebungen. Es stärkt den Rahmen zum Schutz der persönlichen Integrität und Privatsphäre vor neuen Formen der Verletzung, die mit Technologien wie KI verbunden sind, und bekräftigt, dass das Kindeswohl stets Vorrang vor jedem digitalen Geschäftsmodell haben muss.
Bulgarien verstärkt seine Bemühungen zur Bekämpfung von sexuellem Missbrauch von Kindern im Internet durch internationale Zusammenarbeit der Strafverfolgung, nationale Präventionskampagnen und politische Diskussionen im Einklang mit dem EU‑Recht. 2025 nahmen bulgarische Behörden an einer großen internationalen Operation teil, bei der „Kidflix“ aus dem Netz genommen wurde, eine der weltweit größten Plattformen für die sexuelle Ausbeutung von Kindern, die zwischen 2022 und 2025 von nahezu 2 Millionen Nutzerinnen und Nutzern verwendet wurde.
Rumänien verfügt über gesetzliche Mechanismen zur Bekämpfung von Material über sexuellen Missbrauch von Kindern im Strafgesetzbuch und arbeitet daran, diese Regeln auszuweiten und zu modernisieren.
Seit 2025 wird ein wichtiges Gesetz zum Schutz von Kindern im Internet („Online Age of Majority Law“) im Parlament beraten. Das Gesetz führt eine verpflichtende Altersverifizierung sowie die Einholung der Zustimmung der Eltern für Minderjährige unter 16 Jahren ein, um Zugang zu Online‑Diensten wie sozialen Medien, Gaming‑ oder Streaming‑Plattformen zu erhalten. Rumänien beteiligt sich außerdem zunehmend an EU‑Regeln zur Verhinderung und Bekämpfung von sexuellem Missbrauch im Netz.
EU-Beitrittskandidatenland Bosnien und Herzegowina verfügt weiterhin über kein spezifisches Gesetz, das diesen Bereich reguliert. In Bosnien und Herzegowina beruht die strafrechtliche Verantwortlichkeit für die Herstellung, Verbreitung und den Besitz solchen Materials auf Strafgesetzen, die die sexuelle Ausbeutung von Kindern abdecken, jedoch keine ausdrücklichen Bestimmungen zu KI‑generierten oder simulierten Inhalten enthalten.
Die EU hat eine Reihe komplementärer Instrumente und Maßnahmen eingeführt, um ihre Bürgerinnen und Bürger – ob jung oder alt – vor schädlichen Praktiken im Internet zu schützen. Schwachstellen bestehen jedoch weiterhin: Schwierigkeiten bei der Durchsetzung, die algorithmische Verstärkung von Schaden, uneinheitliche nationale Umsetzung sowie Debatten über das richtige Verhältnis zwischen Sicherheit und Datenschutz.
Dieser Artikel ist eine enr Key Story. Der Inhalt basiert auf Nachrichten der am enr teilnehmenden Agenturen.