Künstliche Intelligenz im Rüstungssektor

1. KI-Einsatz im Unternehmen: Die KI-VO als zentraler Rechtsrahmen

Die KI-VO verfolgt einen risikobasierten Ansatz: Je höher das Risiko, das von einem KI-System ausgeht, desto strenger die Anforderungen. Die KI-VO differenziert zwischen drei Risikoklassen:

• Verbotene KI-Praktiken, Art. 5 KI-VO, etwa manipulative Systeme mit Schädigungspotenzial und KI-Systeme zur Emotionserkennung am Arbeitsplatz. Darunter können KI-gestützte Protokollierungsanwendungen fallen, die während Meetings Emotionen der Teilnehmenden erkennen, auswerten und aufzeichnen.
• Hochrisiko-KI-Systeme, Art. 6 KI-VO, z. B. im HR-Bereich, unterliegen strengen Risikominimierungsmaßnahmen. Hierzu können insbesondere KI-Systeme, die im Zusammenhang mit Personalentscheidungen oder zur Gewährleistung der Sicherheit kritischer Infrastruktur eingesetzt werden, zählen.
• sonstige KI-Systeme, die insbesondere Schulungspflichten (Art. 4 KI-VO) und Transparenzpflichten (Art. 50 KI-VO) auslösen. Dazu gehören etwa KI-basierte Assistenzsysteme zur Analyse, Auswertung und Inhaltsgenerierung bei der Bearbeitung von Ausschreibungs- und Vergabeunterlagen aber auch alle sonstigen Systeme, die auf KI basieren.

Für Unternehmen ist entscheidend, dass sie alle KI-Initiativen und jedes KI-System erfassen und zunächst systematisch klassifizieren, risikoadäquate Prozesse für Entwicklung, Einkauf und Nutzung definieren und in das unternehmenseigene Compliance-System integrieren. Verstöße können empfindliche Geldbußen bis zu 35 Mio. € bzw. 7 % des weltweiten Jahresumsatzes nach sich ziehen.

2. Militärische KI: Bereichsausnahme und völkerrechtliche Anforderungen

Gerade militärische KI-Systeme, etwa autonome Drohnen oder KI-gestützte Waffensysteme, bergen ein besonders hohes Risiko für Leib, Leben und Grundrechte von Betroffenen. Nach dem risikobasierten Ansatz der KI-VO müssten sie den strengsten Anforderungen unterliegen. Da die EU für den Bereich Sicherheit und Verteidigung nicht zuständig ist, trifft die KI-VO hierfür keine Regelung.

2.1 Bereichsausnahme für militärische KI, Art. 2 Abs. 3 KI-VO

Die KI-VO nimmt KI-Systeme, die ausschließlich für militärische, verteidigungsbezogene oder sicherheitspolitische Zwecke bestimmt sind, ausdrücklich von ihrem Anwendungsbereich aus (Art. 2 Abs. 3 KI-VO). Sobald ein KI-System allerdings auch für zivile Zwecke bestimmt ist – etwa ein Bilderkennungssystem, das sowohl in Drohnen als auch in der Katastrophenhilfe eingesetzt werden kann, – unterliegt es in der zivilen Verwendung den Vorgaben der KI-VO. Unternehmen sollten daher bereits in der Entwicklungsphase klar dokumentieren, für welche Zwecke das System bestimmt ist. Denkbar ist zudem, unterschiedliche Systeme auf Grundlage der gleichen Technologie zu entwickeln. Da aufgrund der Bereichsausnahme unterschiedliche Vorgaben an zivile und militärische KI-Systeme bestehen (einschließlich der Entwicklungsdokumentation) muss früh im Entwicklungsprozess unterschieden werden.

2.2 Völkerrechtliche Vorgaben für militärische KI

Mangels Anwendbarkeit der KI-VO unterliegt die Entwicklung, der Vertrieb und der Einsatz militärischer KI-Systeme dem Völkerrecht, insbesondere dem Zusatzprotokoll I vom 8. Juni 1977 zu den Genfer Abkommen vom 12. August 1949 über den Schutz der Opfer internationaler bewaffneter Konflikte („Protokoll I“):

• Unterscheidungsgebot, Art. 48 Protokoll I: KI-Systeme müssen zuverlässig zwischen militärischen Zielen und Zivilpersonen unterscheiden können. Angriffe auf zivile Objekte sind verboten. Bei Unsicherheit muss der Angriff unterbleiben.
• Schutz der Zivilbevölkerung, Art. 51 Protokoll I: Die Systeme müssen so konzipiert werden, dass sie Zivilisten effektiv schützen und Angriffe auf diese möglichst ausschließen. Ein KI-gesteuertes Waffensystem muss Angriffe abbrechen, wenn Sensoren plötzlich Zivilisten im Zielgebiet erkennen.
• Verhältnismäßigkeit, Art. 51 Abs. 5(b) Protokoll I: Ein Angriff ist verboten, wenn der zu erwartende zivile Schaden außer Verhältnis zum angestrebten militärischen Vorteil steht und nicht alle praktischen Vorsichtsmaßnahmen getroffen wurden, um zivile Schäden zu minimieren.
• Waffenprüfung, Art. 36 Protokoll I: Vor dem Einsatz neuer KI-basierter Waffensysteme müssen diese einer umfassenden Prüfung auf Völkerrechtskonformität unterzogen werden (Testing, Evaluation, Validation and Verification – „TEVV“).
• Menschliche Kontrolle: Nach herrschender Meinung ist ein „Human in the Loop“ – also eine menschliche Kontrollinstanz – erforderlich, insbesondere bei letalen autonomen Waffensystemen.

In Deutschland werden die völkerrechtlichen Anforderungen insbesondere durch interne Dienstvorschriften der Bundeswehr und Rules of Engagement konkretisiert. Diese regeln insbesondere Einsatzgrenzen, Dokumentation und menschliche Kontrolle der KI-Systeme.

Rüstungsunternehmen müssen die Einhaltung aller völkerrechtlichen Vorgaben für ihre KI-Systeme dokumentieren und nachweisen können, wenn sie diese an die Bundeswehr verkaufen. Die Unternehmen sollten entsprechenden Prozesse daher bereits in der Entwicklungsphase etablieren und ein begleitendes Monitoring implementieren, um die Compliance über den gesamten Lebenszyklus der Systeme sicherzustellen.

3. Fazit: Klare Regeln und kontinuierliche Prüfung sind unerlässlich

Die Bereichsausnahme der KI-VO entlastet Entwickler und Nutzer militärischer KI nicht vollständig von rechtlichen Pflichten, sondern verschiebt lediglich den Fokus. Unternehmen sollten bereits in der Entwicklungsphase die Zweckbestimmungen des KI-Systems dokumentieren und Mechanismen zur menschlichen Kontrolle etablieren. Das BMVg arbeitet derzeit an einer Konzeption zur Nutzung und Governance von KI in der Bundeswehr, die einen strategischen und operativen Rahmen für die verantwortungsvolle Anwendung militärischer KI schaffen soll. Diese Konzeption ist an nationalen, europäischen und NATO-Prinzipien orientiert und in bestehende Digitalisierungs- und Datenstrategien der Bundeswehr eingebettet. Das BAAINBw hat bislang nur wenige konkrete Vorgaben zu militärische KI veröffentlicht, kann diese aber jederzeit ergänzen. Unternehmen sollten diese Entwicklung aktiv beobachten und ihre Compliance-Strategien kontinuierlich anpassen.