Als ein ständiges Wettrennen zwischen Codebreakern und Codemakern bezeichnete der deutsche Kryptologe Hans Dobbertin seine Disziplin. Während die Angreifer stets versuchen, mit brachialer Gewalt in Systeme einzudringen oder darin nach Hintertüren und Schwachstellen zu suchen, um sich auf diesem Weg Zugang zu verschaffen, bemühen sich Sicherheitsforschende darum, eben diese Systeme resilienter und widerstandsfähiger zu machen. Sie entwickeln bessere Verschlüsselungs- und Schutzmechanismen, versuchen das Entstehen von Sicherheitslücken bereits während der Softwareentwicklung und durch das Design geeigneter Tests zu minimieren – oder eben Schwachstellen aufzuspüren und zu schließen, bevor die „bösen Jungs“ sie ausnutzen können.
Nun bekam dieses Wettrennen einen Schubser – und keinen kleinen.
Zuerst überraschte das KI-Modell Mythos von Anthropic. Es sollte derart gut darin gewesen sein, Sicherheitslücken in Software aufzuspüren, dass es zunächst aufgrund exportkontrollrechtlicher Vorgaben der US-Regierung für die Nutzung durch Nicht-US-Bürgerinnen und -Bürger gesperrt wurde. Genauer gesagt: Da sich technisch offenbar nicht zuverlässig zwischen US-amerikanischen und anderen Nutzenden unterscheiden ließ, wurde der Zugang weltweit für alle eingeschränkt. Nach und nach erhielten ausgewählte Organisationen – etwa Mozilla1 – sowie Institutionen wie die EU-Agentur für Cybersicherheit ENISA Zugriff auf das Modell.2
Die Auserwählten, die im Rahmen der von Anthropic unter dem hochfliegenden Namen „Project Glasswing“ geführten Initiative Mythos testen und einsetzen durften, berichteten von einer erstaunlichen Effektivität der KI beim Identifizieren von Softwarefehlern – und das bei nur wenigen sogenannten False Positives. Alleine für Firefox von Mozilla identifizierte Mythos 271 Bugs, darunter 180 als kritisch eingestufte Schwachstellen.3
Noch war der Schock über das KI-Modell mit dem Namen eines griechischen Bieres nicht ganz abgeklungen, da verbreiteten die Medien bereits die nächste Hiobsbotschaft. Einige neue Modelle des Anthropic-Konkurrenten OpenAI hätten während eines Leistungstests in einer isolierten Umgebung offenbar Schutzmechanismen überwunden, indem sie bis dahin unbekannte Schwachstellen identifizierten, sich Zugang zum Internet verschafften und anschließend selbstständig einen Angriff auf Hugging Face – eine der weltweit größten Open-Source-Plattformen für KI-Modelle – starteten, analysierte Moritz Abrell in einem Blogbeitrag der SySS GmbH den Vorfall.4
Berichte über eine „wild gewordene KI“ dominierten – auch mangels belastbarer Erkenntnisse – die Schlagzeilen, gefolgt von Warnungen vor den Risiken künstlicher Intelligenz bis hin zu Gerüchten, sie stelle eine Bedrohung für die nationale Cybersicherheit dar. Währenddessen legte OpenAI-Chef Sam Altman noch einen drauf und verkündete die Singularität.
Aber zurück in die Wirklichkeit.
Wo manche Experten eher einen smarten Marketing-Trick vermuten, verfiel die Politik zunehmend in eine Art Schockstarre – wie das sprichwörtliche Kaninchen vor der Schlange, nur eben vor einer vermeintlich „übermächtigen“ KI. So reagierte das Bundesamt für Sicherheit in der Informationstechnik (BSI), das in Deutschland mit dem Melde- und Informationsportal (MIP) die zentrale Meldestelle für IT-Sicherheitsvorfälle und Schwachstellen betreibt5, eher verhalten. Man erwarte „Umwälzungen im Umgang mit Sicherheitslücken und in der Schwachstellenlandschaft insgesamt“, wurde BSI-Präsidentin Claudia Plattner vom ZDF zitiert. „Dies würde eine Verschiebung der Angriffsvektoren und einen Paradigmenwechsel mit Blick auf die Cyberbedrohungslage zur Folge haben.“6 Zunächst kein Wort dazu, ob zusätzliche Kapazitäten aufgebaut, Meldewege vereinfacht oder wenigstens die Aufsicht gestärkt werden sollen, um diesen „Umwälzungen“ zu begegnen.
Ganz anders, als der Mitgründer von Hugging Face, Thomas Wolf, der den Cybervorfall gegenüber der BBC zwar als Gamechanger, aber auch als „a wake-up call“ für die Industrie bezeichnete.7 Es sei eine Warnung an andere Unternehmen, ihre Cybersicherheitsmaßnahmen deutlich zu verstärken, um sich gegen derartige Angriffe zu wappnen. Ähnlich reagierte die britische Regierung. Sie empfahl Organisationen, ihre Cybersicherheit unter anderem durch eine Teilnahme am Zertifizierungsprogramm Cyber Essentials weiter auszubauen.
Warum man Angst vor einer komplexen Software haben sollte, die nichts Schlimmeres tut, als Schwachstellen, Bugs und Fehler zu finden – also genau jene Lücken, derentwegen James Lovelock im Novacene den modernen Computercode als „just most appalling stuff“ bezeichnete –, erschließt sich nicht sofort.
Endlich hatte sich jemand – sei es auch nur eine KI, hinter der mächtige Wirtschaftsinteressen stehen – gezielt auf schlecht programmierte Software angesetzt, dort Schwachstellen, Sicherheitslücken und Bugs identifiziert und diese Tatsache auch noch öffentlich gemacht. Ausgerechnet die Maschine konnte tun, woran Menschen oft schon an Meldeformularen scheitern. Und das, ohne dafür gleich eine Anzeige zu kassieren oder über jene Hürden zu stolpern, die Deutschland für menschliche Meldende von Sicherheitslücken aufgebaut hat: von unübersichtlichen Meldeverfahren bis hin zum ELSTER-Zertifikat, mit dem man sich im MIP-Portal identifizieren muss.8
Wären da nicht eigentlich Luftsprünge vor Freude angesagt?
Tatsächlich gerieten dadurch die Hersteller erheblich unter Druck, die Probleme endlich zu beseitigen und Lücken zu schließen. Die IT – und inzwischen auch die KI-Industrie – blickt auf über Jahrzehnte hinweg angehäufte technische Schulden zurück, wie Melissa Hathaway in Responsible Disclosure in the Age of AI: A Call for Urgent Action erinnert.9 Software wurde über Jahre hinweg nach dem Prinzip „quick & dirty“ entwickelt. Experten sprachen – wenig schmeichelhaft – von Bananenprodukten, die grün auf den Markt gebracht wurden, um erst beim Kunden zu reifen.
Es galt, um bei der Exotische-Früchte-Nomenklatur zu bleiben, die IT wie eine Zitrone auszupressen: möglichst schnell und billig zu produzieren, Produkte so früh wie möglich auf den Markt zu bringen – und sie anschließend teilweise über Jahre hinweg zu patchen. Ebenso schnell, billig und häufig unstrukturiert wurden Softwareentwickler ausgebildet, um die kurzfristige Nachfragen des Marktes zu decken. Hinzu kamen Outsourcing- und Offshoring-Projekte, die nicht nur das Coding, sondern auch das Know-how und das Insiderwissen über die Sicherheit der IT-Systeme gleich mit aus Deutschland in Niedriglohnländer verlagerten.
„Während die Technik immer leistungsstärker wird, sollten wir uns, was die Sicherheitstechnik betrifft, weniger auf den Ansatz Versuch und Irrtum verlassen“ 10, warnte Max Tegmark in Leben 3.0 und riet dazu, in die KI-Sicherheitsforschung zu investieren, bevor Unfälle passieren, Schwachstellen entstehen oder Systeme angegriffen werden können – und ganz besonders, bevor man ihnen kritische Infrastrukturen wie die Energieversorgung oder Waffensysteme anvertraut. Mit Verifizierung solle man sicherstellen, dass eine KI tatsächlich das tut, wofür sie entwickelt beziehungsweise trainiert wurde.
Die Kritik und gute Ratschläge brachten wenig.
Die IT- und KI-Hersteller haben ihre Ansätze zur Prüfung technischer Kriterien zurückgefahren. Code-Inspections etwa galten aufgrund ihrer Komplexität und des dafür erforderlichen Fachwissens als schwer umsetzbar. Stattdessen setzte man verstärkt auf „prozessuale Kriterien“ wie Patch-Management und Penetrationstests, die langfristig ein verbessertes Qualitätsmanagement und eine höhere Sicherheit fördern sollten.11
Das ist wichtig, gewiss. Doch es darf durchaus etwas mehr sein. Und dabei sollte man, um Ernest Hemingway zu paraphrasieren, Betriebsamkeit nicht mit Taten verwechseln.
Dass KI-Systeme in der Lage sind, autonom, schnell und in großer Zahl Schwachstellen und Bugs in Software zu identifizieren, kommt nicht wirklich unerwartet. Schließlich werden einige davon explizit dafür trainiert.12 Es liegt weniger an einer überragenden „Intelligenz“ der KI – davon kann die Cybersicherheit ohnehin noch etwas mehr vertragen – als vielmehr daran, dass sie auf jahrzehntelang gewachsene technische Schulden trifft. „This development exposes decades of accumulated technical debt created by a software industry that prioritized rapid deployment over secure-by-design engineering practices“, konstatierte Melissa Hathaway.
Security by Design – zu Deutsch „Sicherheit von Anfang an“ – bedeutet, Sicherheit dort zu verankern, wo Entwicklung beginnt. Und das ist nicht erst mit der ersten Codezeile. Der Softwareentwicklungsprozess setzt deutlich früher an, nämlich bei der Spezifikation der fachlichen Anforderungen. Security by Design war bereits Bestandteil der Cyber-Sicherheitsstrategie 2016 der Bundesregierung. Sie forderte Hersteller dazu auf, Sicherheit „von Anfang an“ in die Entwicklung ihrer Produkte und Systeme einzubinden.
Leider fehlt bis heute die Operationalisierung dieser Vorgabe. Vom konkreten Handlungsbedarf sprach der ehemalige Vizepräsident des BSI, Dr. Gerhard Schabhüser, bereits auf früheren Handelsblatt-Cybersecurity-Jahrestagungen. Das gleiche Schicksal ereilte die Forderung nach Privacy by Design gemäß DSGVO. Eine Verknüpfung beider Anforderungen in einem gemeinsamen Verfahren wäre durchaus denkbar. Doch auch hier fehlen bislang konkrete Vorschläge und Umsetzungsansätze – von Selbstverpflichtungen und Self-Assessments einmal abgesehen, die sich Unternehmen teilweise selbst auferlegt haben und die nicht einmal durchweg schlecht sind.13
Vielleicht resultiert diesmal tatsächlich etwas mehr aus dem „wake-up call“, von dem der Hugging-Face-Mitgründer sprach. Melissa Hathaway erkennt in diesem Momentum, wie sie es ausdrückt, „a strategic inflection point for governments, industry, and critical infrastructure operators“. Responsible Disclosure könne nicht länger ein reaktiver oder fragmentierter Prozess bleiben, sondern müsse zu einer koordinierten nationalen und internationalen Bemühung werden, an der Regierungen, Softwarehersteller, Betreiber kritischer Infrastrukturen und CERTs gleichermaßen beteiligt sind.
Doch zuvor muss noch etwas weg.
Zumindest mit Blick auf Responsible Disclosure. Das deutsche Computerstrafrecht – die sogenannten Hackerparagraphen – hat Sicherheitsforschung über Jahre hinweg marginalisiert und teilweise kriminalisiert. Zwar steht eine Reform des Computerstrafrechts schon seit Längerem auf der politischen Agenda. Doch die Gesellschaft für Informatik hat gemeinsam mit LOAD e. V. und weiteren Verbänden die Initiative ergriffen und ein White Paper zur Modernisierung des Computerstrafrechts bzw. zu Coordinated Vulnerability Disclosure vorbereitet.
Es gilt, wie Max Tegmark in Leben 3.0 formulierte, mehr Initiative zu zeigen und in die Weiterentwicklung der Methoden zu investieren, anstatt lediglich zu reagieren.
Die KI entscheidet das Wettrennen zwischen Codebreakern und Codemakern nicht. Sie zwingt aber beide Seiten, schneller zu laufen. Man sollte nur bedenken, wo wir heute stehen würden, wenn
Sicherheitsforschende und Kryptologen über ähnliche Ressourcen verfügen würden wie die KI-Forschung, um ihre Methoden und Kontrollen weiterzuentwickeln.
Also: Wach endlich auf, Kaninchen, und lauf! Nur diesmal viel schneller.
1 https://hacks.mozilla.org/2026/05/behind-the-scenes-hardening-firefox/
2 www.heise.de/news/Anthropic-oeffnet-Mythos-EU-Cyberagentur-soll-Zugriff-erhalten-11314320.html
3 https://hacks.mozilla.org/2026/05/behind-the-scenes-hardening-firefox/; Demgegenüber standen 41 externe Meldungen aus dem Mozilla-BugBounty-Programm, das Sicherheitsforschende mit bis zu 20.000 US-Dollar pro gemeldeter Sicherheitslücke belohnt. Insgesamt wurden im April 423
Sicherheitslücken geschlossen, wie Mozilla mitteilte. Im Vormonat waren es lediglich 76 gewesen
4 https://www.syss.de/pentest-blog/openai-sicherheitsvorfall-wenn-ai-sich-verselbstaendigt
5 https://mip2.bsi.bund.de/de/meldestellen-uebersicht
6 https://www.zdfheute.de/politik/deutschland/ki-anthropic-claude-mythos-schwachstellen-software-bsi-100.html
7 https://www.bbc.com/news/articles/cdrvy3pn3r0o
8 https://background.tagesspiegel.de/it-und-cybersicherheit/briefing/mensch-maschine-und-das-deutsche-computerstrafrecht
9 https://cyberdefensereview.army.mil/Portals/6/Documents/2026-vol11-iss2/CDR_V11_N2_Hathaway.pdf
10Tegmark, M. (2023) Leben 3.0 (5. Auflage). Ullstein: Berlin, S. 143
11Vgl. Strategy&, 2017. Konzeption eines IT-Sicherheits-Gütesiegels. Management Summary (25.4.2017),
https://www.bmi.bund.de/SharedDocs/downloads/DE/veroeffentlichungen/themen/it-digitalpolitik/it-guetesiegel-summary.pdf
12 https://techcrunch.com/2026/07/29/the-hugging-face-ai-break-in-as-told-through-an-increasingly-committed-bear-metaphor/
13 Vgl. Pütz, S. und Sowa, A. 2013. „Privacy and Security Assessment der Deutschen Telekom“. In: DuD – Datenschutz und Datensicherheit 1/2013;
https://www.telekom.com/de/konzern/datenschutz-und-sicherheit/news/privacy-and-security-assessment-verfahren-342724