Künstliche Intelligenz (KI) übernimmt nicht nur einfache, repetitive Aufgaben. Vielmehr trifft sie Entscheidungen mit weitreichenden wirtschaftlichen, sozialen und rechtlichen Konsequenzen. KI-Systeme entwickeln sich dynamisch weiter, verändern ihre Entscheidungslogik und handeln mitunter auf eine Weise, die selbst für ihre Entwickler nicht immer nachvollziehbar ist. Diese Kombination aus begrenzter Transparenz und Autonomie einerseits sowie wachsen der wirtschaftlicher und gesellschaftlicher Relevanz andererseits ist Ausgangspunkt für viele rechtliche Fragen, die beim Einsatz von KI in Unternehmen berücksichtigt werden müssen.
Welche konkreten Herausforderungen sich ergeben, hängt maßgeblich vom Anwendungskontext ab. Allen Anwendungsfällen ist eines gemein: Die rechtlichen Folgen sollten bereits bei der Einführung sorgfältig analysiert werden. Andernfalls drohen im Nachgang technische und organisatorische/rechtlicher Nachbesserungen, die oft aufwendig und kostspielig sind. Die zentralen Weichenstellungen werden im Folgenden näher beleuchtet.
1. KI-Regulierung und ihre Auswirkung auf Unternehmen
Zentrales Element der KI-Regulierung ist die EU-KI-Verordnung, die einen risikobasierten Ansatz verfolgt. Sie unterscheidet entlang der Leistungskette zwischen verschiedenen Rollen – etwa Anbieter und Betreiber – und legt differenzierte Pflichten je nach Funktion fest.
Konkret bedeutet das: KI-Systeme werden je nach Verwendungszweck in Risikokategorien eingestuft – von minimalem über normales und hohes Risiko bis hin zu inakzeptablem Risiko. Eine Einstufung als Hochrisiko-KI droht beispielsweise bei Anwendungen im Personal-Bereich. In solchen Fällen gelten besonders strenge Anforderungen, unter anderem in Bezug auf Risikomanagement, Daten-Governance, Transparenzpflichten und die Durchführung einer Konformitätsbewertung. Welche konkreten Pflichten ein Unternehmen treffen, hängt davon ab, welche Rolle es im Zusammenhang mit dem KI System einnimmt. Besonders relevant ist hier die Abgrenzung zwischen Anbieter und Betreiber. Wichtig zu beachten: Auch Unternehmen, die ein bestehendes KI-System lediglich an ihre eigenen Anforderungen anpassen (lassen), können als Anbieter im Sinne der Verordnung eingestuft werden.
Genau hier setzt die strategische Gestaltung an: Je nach technischer Integration und Ausgestaltung zum Nutzer hin (user-facing), wird ein Unternehmen entweder als Anbieter oder als Betreiber eingeordnet. In der Regel werden Unternehmen die Einstufung als Anbieter vermeiden wollen – denn diese ist mit umfangreicheren Pflichten verbunden. Um das zu erreichen, sollten die Weichen frühzeitig korrekt gestellt werden – z.B. durch eine klare und auch nach außen hin erkennbare Trennung zwischen einer eigenen (vor geschalteten) Lösung und dem eigentlichen KI-System. Die eigene Lösung wäre dann darauf beschränkt, lediglich Prompts (einschließlich einer Auswahl geeigneter Daten) an das – ersichtlich – von einem Dritten bereitgestelltes KI-System zu übermitteln. Auf diese Weise lassen sich regulatorische Pflichten auf das notwendige Maß beschränken.
2. Nutzung von Daten (zum Training / als Input) in Unternehmen
KI-Systeme sind auf große Datenmengen angewiesen – sowohl für das Training als auch für die Generierung von Ergebnissen im laufenden Betrieb. Mit Blick auf die Nutzerseitig bereitgestellten Daten ist Folgendes zu berücksichtigen:
a) Schutz der eigenen Daten
Es muss sorgfältig geprüft werden, inwieweit unternehmenseigene Datenpools, die für das Training von KI-Systemen eingesetzt werden, Geschäftsgeheimnisse enthalten –. Wichtig ist, dass der Status als Geschäftsgeheimnis durch den Einsatz der KI nicht gefährdet wird. Zum anderen müssen Sicherheitsstandards beteiligter Anbieter kritisch hinterfragt werden. Eine zentrale Weichenstellung wird darin bestehen, ob die KI-Lösung im eigenen Rechenzentrum (on-premises) betrieben wird oder als Cloud-Dienst (AI-as-a-Service, AIaaS) zum Einsatz kommt.
Zudem ist frühzeitig die vertragliche Ausgestaltung der Beziehung zwischen Unternehmen und KI-Anbieter zu analysieren. Dabei sind nicht nur klassische IT rechtliche Aspekte wie die Sicherstellung eines möglichst störungsfreien Betriebs oder die vom Anbieter umzusetzenden Cybersicherheitsmaßnahmen zu berücksichtigen. Besonders relevant sind auch Rechte, die sich der Anbieter am Input der KI-Lösung einräumen lässt. Zum Beispiel können Nutzungsrechte, die dem Anbieter zur Nutzung bereitgestellter Trainingsdaten oder des Inputs – etwa für die Durchführung eigener Trainings – eingeräumt werden, dazu führen, dass der Einsatz bestimmter Tools aus strategischen oder rechtlichen Gründen ausscheidet. Eine frühzeitige vertragliche Prüfung ist unverzichtbar.
b) Datenschutz
Die Verarbeitung personenbezogener Daten durch KI-Systeme muss auch daten schutzrechtlichen Anforderungen entsprechen. Unternehmen müssen sorgfältig prüfen, ob eingesetzte Daten ausreichend anonymisiert wurden oder ob eine belastbare rechtliche Grundlage für ihre Verarbeitung besteht. Besonders relevant werden datenschutzrechtliche Fragen im Zusammenhang mit der Nutzung von KI im Rahmen von AIaaS-Modellen sein. Dabei stellt sich die Frage, ob der KI-Anbieter als Auftragsverarbeiter oder als eigenständig Verantwortlicher agiert. Diese Unterscheidung bringt erhebliche rechtliche Konsequenzen mit sich.
Darüber hinaus müssen spezifische datenschutzrechtliche Pflichten – etwa Informationspflichten gegenüber betroffenen Personen sowie deren Rechte auf Auskunft und Löschung – angemessen umgesetzt werden. In der Praxis gestaltet sich das mitunter technisch herausfordernd, gerade, wenn es darum geht, personenbezogene Daten nachträglich aus einem bereits trainierten KI-Modell zu entfernen („Unlearning“). Dieser Prozess ist aktuell noch mit erheblichen praktischen Schwierigkeiten verbunden.
Grundlegende strategische Entscheidungen sind ebenfalls zu treffen – etwa die Frage, ob ein mit personenbezogenen Daten angelerntes KI-Modell künftig als anonym gelten soll. Das kann in Betracht gezogen werden, wenn das Risiko eines sogenannten „Hochwürgens“ (Regurgitation), also des unbeabsichtigten Wieder Ausgebens personenbezogener Daten, faktisch ausgeschlossen werden kann. Da für ist in der Regel ein in jeder Hinsicht möglichst umfassender Trainingsdatensatz erforderlich. Das steht wiederum im Spannungsverhältnis zum datenschutzrechtlichen Prinzip der Datenminimierung. Unternehmen müssen sorgfältig abwägen, welchen Weg sie einschlagen möchten: den datenintensiven Weg (Big Data) oder den der Datenminimierung. Beide Ansätze bringen datenschutzrechtlich Vor-
und Nachteile mit sich.
c) Rechte Dritter
Beim Einsatz eigener Datenpools geht es nicht nur die Einhaltung datenschutzrechtlicher Vorgaben. Auch vertragliche oder sonstige rechtliche Beschränkungen können einer Nutzung entgegenstehen. So ist zu prüfen, ob Datenlieferanten die Verwendung der Daten auf bestimmte Zwecke begrenzt oder eine Weitergabe an Dritte ausgeschlossen haben. In solchen Fällen ist vor einer Nutzung oder Weiter gabe eine vorherige Abstimmung mit dem Rechteinhaber zwingend erforderlich.
KI-Systeme werden manchmal auch mit geschützten Inhalten trainiert, die öffentlich zugänglich sind, wie mit Texten, Bildern, Musik oder Quellcodes. In der EU ist für die kommerzielle Nutzung urheberrechtlich geschützter Inhalte ein Opt-out Modell vorgesehen. Hier haben die Rechteinhaber die Möglichkeit, die Verwendung ihrer Werke zu untersagen. Im anglo-amerikanischen Rechtsraum dagegen ist der etwas flexiblere Fair Use Grundsatz vorherrschend. Unternehmen, die KI kommerziell einsetzen und mit öffentlich zugänglichen Inhalten trainieren möchten, müssen sehr genau prüfen, ob die Verwendung der Inhalte überhaupt zulässig ist.
Verwertung des KI-Outputs in Unternehmen
a) Rechte am Output
Spiegelbildlich zur Frage des Schutzes des eigenen Inputs stellt sich auch die Frage nach den Rechten am Output. Unabhängig von der viel diskutierten Frage der Urheberschaft an KI-generierten Inhalten wird hier in der Regel vor allem zu prüfen sein, ob sich der Anbieter des eingesetzten KI-Tools Rechte am erzeugten Output einräumt. Auch dies kann von Beginn an ein entscheidendes Ausschlusskriterium für den Einsatz eines KI-Tools sein.
b) Zurechnung von Erklärungen
Eine zentrale Frage ist zudem, wem durch ein KI-System generierte Handlungen oder Erklärungen zugerechnet werden. In Deutschland hat das Landgericht (LG) Kiel ausdrücklich entschieden, dass ein Unternehmen für eine fehlerhafte, automatisiert erzeugte Auskunft seiner eingesetzten KI haftet (LG Kiel, Urteil vom 29.02.2024 – 6 O 151/23). International hat der Fall Moffat vs. Air Canada für Aufsehen gesorgt: Dort wurde Air Canada die falsche Antwort eines Chatbots, der im Kundenservice eingesetzt wurde, rechtlich zugerechnet.
Diese Beispiele verdeutlichen: Auch wenn KI-Systeme scheinbar autonom agieren, liegt die rechtliche Verantwortung in der Regel beim betreibenden Unternehmen. Im Rahmen der Einsatzplanung ist daher sorgfältig zu prüfen, ob Haftungsrisiken für den konkreten Anwendungsfall ein Ausschlusskriterium darstellen – oder ob sie sich ausreichend minimieren lassen. Dazu können etwa eine klare Zweckbindung der Nutzung oder deutliche Hinweise auf die Unverbindlichkeit von KI-generierten Antworten gehören.
Fazit: KI-Nutzung braucht frühzeitige Weichenstellungen in Unternehmen
Die Nutzung von KI in Unternehmen bietet enorme Potenziale, ist aber auch mit rechtlichen Herausforderungen verbunden. Um rechtliche Risiken und Implementierungsaufwände zu minimieren und regulatorische Pflichten – soweit möglich – zu reduzieren, sind schon in der Frühphase der Einführung von KI grundlegende rechtliche und organisatorische Aspekte zu berücksichtigen.