Zudem befinden sich weitere Maßnahmen, wie zum Beispiel die „Richtlinie zur Anpassung der Vorschriften über außervertragliche zivilrechtliche Haftung an künstliche Intelligenz”, noch in der Diskussion. Einschlägige Rechtsprechung zu dem Einsatz von KI-Systemen ist jedoch bislang überschaubar. Wenig überraschend ist in der Praxis noch eine Vielzahl von Rechtsfragen hinsichtlich des Einsatzes von KI-Systemen offen. Dies betrifft insbesondere auch gesellschaftsrechtliche Fragestellungen auf der Ebene der Geschäftsführung, die sich aus der immer stärker werdenden Einbindung von KI-Systemen in die Entscheidungsprozesse der Unternehmensleitung (z. B. strategische Planung) ergeben.
A. Wesentliche Merkmale von KI-Systemen
Die „Europäische Verordnung über künstliche Intelligenz” (KI-Verordnung) definiert ein KI-System als ein maschinengestütztes System, das für einen in unterschiedlichem Grade autonomen Betrieb ausgelegt ist und das nach seiner Betriebsaufnahme anpassungsfähig sein kann und das aus den erhaltenen Eingaben für explizite oder implizite Ziele ableitet, wie Ausgaben, wie etwa Vorhersagen, Inhalte, Empfehlungen oder Entscheidungen erstellt werden, die physische oder virtuelle Umgebungen beeinflussen können.
Anders als bei konventionellen Computerprogrammen, bei denen der Algorithmus nach den jeweiligen Anweisungen des Programmierers handelt, lernen Algorithmen von KI-Systemen die Regeln auf Basis vorhandener Informationen selbst. Dieses maschinelle Lernen erfolgt auf Basis von statistischen Daten und Trainingsdaten. Beiden Datensätzen ist zu eigen, dass sie vergangenheitsbezogen sind. Dem KI-System soll es ermöglicht werden, eigenständige Vorhersagen zu treffen. Das KI-System leitet hierbei nicht Antworten aus Daten und Regeln ab, sondern entwickelt Regeln aus Daten und Antworten. Jedes Ergebnis eines lernenden KI-Systems ist nicht das Resultat eines kausalen Schlussfolgerns, sondern einer Wahrscheinlichkeitsberechnung. Das Ergebnis dieser Wahrscheinlichkeitsberechnung hängt in hohem Maße von der Quantität und der Qualität der statistischen Daten und der Trainingsdaten ab. Ziel ist es, den Grad der Abweichung zwischen dem von dem KI-System vorhergesagten Ergebnis und den tatsächlichen Werten zu minimieren. In seiner letztendlichen Anwendungsphase wendet das KI-System die iterativ erlernte Funktion auf neue Daten an.
KI-Systeme kann man in Blackbox- und Whitebox-Systeme unterteilen. Von einem Whitebox-System kann man nur dann sprechen, wenn die Entscheidungen des Systems („Verarbeitungsprozess, Algorithmus und Daten”) für den Anwender nachvollziehbar sind. Ist dies nicht der Fall, spricht man von Blackbox-Systemen. Je intelligenter und damit komplexer KI-Systeme sind, desto unmöglicher wird es für ihre Nutzer, ihre Entscheidungen nachzuvollziehen.
Mittlerweile kann es selbst für Ingenieure bzw. Datenwissenschaftler, die den KI-Algorithmus entwickelt haben, nicht mehr nachvollziehbar sein, was genau in diesem System vor sich geht oder wie der KI-Algorithmus zu einem bestimmten Ergebnis gelangt. Zumal KI-Systeme (bislang) grundsätzlich nicht dafür konzipiert werden, ihre Entscheidungen zu erklären oder Angaben zu einer quantifizierten Unsicherheit ihrer Berechnung zu machen. Für den jeweiligen Anwender bedeutet dies, dass er Fehler, wie zum Beispiel eine mögliche Diskriminierung, z. B. bei der Auswertung von Stellenbewerbungen, oder einen Angriff auf das KI-System zumeist nicht erkennen kann.
In technischer Hinsicht wird versucht, die Transparenz der Entscheidungen von KI-Systemen dadurch herzustellen, dass Erklärbare Künstliche Intelligenz (Explainable Artificial Intelligence, XAI) entwickelt und zum Einsatz gebracht wird. Ziel von dieser ist es, die von Algorithmen des maschinellen Lernens erzeugten Ergebnisse und Ausgaben erklärbar und überprüfbar zu machen.
B. Grundzüge der relevanten gesellschaftsrechtlichen Regeln
Das Gesellschaftsrecht regelt, wer welche Entscheidungen für das Unternehmen auf welcher Informationsgrundlage treffen darf und wer letztlich für fehlerhafte Entscheidungen haftet. Entscheidungen der Unternehmensleitung müssen grundsätzlich nachvollziehbar und überprüfbar sein. Folgende Grundsätze sind hierbei für die Beurteilung des Einsatzes von KI-Systemen in Unternehmen von besonderer Bedeutung:
- Die Unternehmensleitung hat im Rahmen ihrer Geschäftsführung die Sorgfalt eines ordentlichen und gewissenhaften Geschäftsleiters anzuwenden. „Gesetzliche Vorgaben sind zwingend einzuhalten”. Bei unternehmerischen Entscheidungen gibt es hingegen einen Ermessensspielraum der Unternehmensleitung. Ein sorgfaltswidriges Verhalten soll dann ausgeschlossen sein, wenn der Unternehmensleiter vernünftigerweise annehmen durfte, sein Handeln erfolgte auf der „Grundlage angemessener Information zum Wohle der Gesellschaft”. Im Rahmen seiner Entscheidungsfindung hat er alle verfügbaren (angemessenen) Informationsquellen rechtlicher und tatsächlicher Art auszuschöpfen und auf dieser Grundlage die Vorteile und Nachteile der bestehenden Handlungsoptionen sorgfältig abzuschätzen und den erkennbaren Risiken Rechnung zu tragen.
- Die Unternehmensleitung kann Geschäftsführungsaufgaben auf einzelne Mitglieder oder auf nachgeordnete Mitarbeiter übertragen. Es ist ihr jedoch nicht möglich, sogenannte Leitungsentscheidungen zu delegieren. Im Rahmen der zulässigen Aufgabedelegation sind die von der Rechtsprechung aufgestellten Grundsätze hinsichtlich der „Auswahl, der Einweisung und der Überwachung der eingesetzten Dritten sowie deren Dokumentation” zu beachten.
- Immer dann, wenn das Leitungsorgan nicht über das notwendige Wissen verfügt, kann es dieses Wissensdefizit durch Einholung von Experten-Rat kompensieren. Grundsätzlich gelten für die rechtmäßige „Einholung fremden Rats” folgende vier Kriterien. Die Fachkompetenz des beauftragten Beraters und dessen Unabhängigkeit müssen gewährleistet sein. Die Unternehmensleitung muss den Experten zudem umfassend in den maßgeblichen Sachverhalt einführen. Schließlich muss die erteilte Auskunft durch die Unternehmensleitung einer sorgfältigen Plausibilitätskontrolle unterzogen bzw. mit anderen Informationen abgeglichen werden.
C. Ausgewählte Fragen bei dem Einsatz von KI bei Entscheidungen der Unternehmensleitung
Aus den obigen Ausführungen ergibt sich im Hinblick auf die Auswahl und den Einsatz von KI-Systemen in Unternehmen in der Praxis eine Vielzahl von Rechtsfragen. Im Zentrum steht hierbei die Frage, auf Basis welcher Informationsgrundlage, mit welchem Ermessensspielraum rechtmäßige Entscheidungen der Unternehmensleitung über den Einsatz von KI-Systemen bzw. über die Umsetzung der von diesen berechneten Ergebnissen getroffen werden können. Je größer die Risiken für das Unternehmen durch den Einsatz von KI-Systemen sind bzw. je stärker die Leitungsmacht der Unternehmensleitung tangiert wird, desto strenger ist der anzuwendende Pflichtmaßstab und umso enger ist der Ermessensspielraum. Folgende grundsätzlichen Fragen stellen sich:
-
Ist das zur Auswahl stehende KI-System gesetzeskonform bzw. lässt es sich im Hinblick auf die beabsichtigte Aufgabenstellung überhaupt gesetzeskonform betreiben?
Mit dem Inkrafttreten der KI-Verordnung steht zum Beispiel fest, dass KI-Systeme in bestimmten Bereichen nicht eingesetzt werden dürfen. Verboten ist zum Beispiel der Einsatz von KI-Systemen, die darauf abzielen, natürliche Personen umfassend zu überwachen und ihnen dann eine Bewertung zukommen zu lassen, die für sie in anderen Lebensbereichen mit Nachteilen verbunden ist. Die Frage der Gesetzeskonformität betrifft eine Vielzahl von Rechtsgebieten, insbesondere das Arbeits-, das Datenschutz-, das Wettbewerbs- und das Urheberrecht.
Bei einem mit eigenen Daten selbst entwickelten KI-System mag die Beantwortung dieser Fragen für die Unternehmensleitung noch unschwer möglich sein. Bei einem KI-System, das von Dritten entwickelt wurde, ist allerdings zu berücksichtigen, dass diese ihre Algorithmen und die Daten aus einer Vielzahl von Gründen überhaupt nicht offenlegen wollen. Dies betrifft auch die darin enthaltenen sonstigen eigenen Ziele des jeweiligen Anbieters, welche durchaus den Geschäftsinteressen des Anwenders zuwiderlaufen können. Spätestens bei den sog. Blackbox-KI-Systemen wird es jedoch häufig faktisch unmöglich, die Gesetzeskonformität des KI-Systems zu überprüfen.
Ob und inwieweit die Unternehmensleitung berechtigtes Vertrauen in eine von dem Anbieter zugesicherte Gesetzeskonformität des angebotenen KI-Systems setzen darf, wird im Einzelfall zu entscheiden sein. Vorausgesetzt, der jeweilige Anbieter gibt überhaupt eine solche Zusicherung ab. Angesichts der Vielzahl von publik gewordenen Gesetzesverstößen von KI-Systemen bzw. deren Anbietern dürfte zumindest derzeit nur ein geringer Vertrauensschutz in solche Zusicherungen bestehen. Insbesondere, wenn diese nicht mit einem entsprechenden Haftungsregime unterlegt sind. Ob und inwieweit sich aus der geschilderten Regulierungstätigkeit und deren Umsetzung ein anderer Vertrauensmaßstab ergibt, bleibt abzuwarten.
-
Ist das KI-System tatsächlich in der Lage, die ihm zugedachte Aufgabe zu erfüllen und welche Chancen und Risiken ergeben sich aus seinem Einsatz?
Die Unternehmensleitung muss prüfen, ob der Algorithmus zur Lösung der gestellten Aufgabe geeignet ist. Darüber hinaus hat sie zu prüfen, ob die Daten des KI-Systems nach Qualität und Zahl geeignet sind, den Algorithmus zum richtigen Ergebnis zu führen. Um eine Entscheidung auf angemessener Informationsgrundlage zu treffen, muss die Unternehmensleitung sich auch einen Überblick über die am Markt angebotenen KI-Systeme, deren Chancen und Risiken, insbesondere ihre Verlässlichkeit und typischen Schwachstellen, verschaffen. Im Rahmen der Risikobeurteilung sind insbesondere Störungen und unvorhergesehene Ereignisse, kritische Fehlfunktionen und deren Folgen für das Unternehmen zu berücksichtigen. So können bei dem Einsatz eines KI-Systems zum Beispiel personenbezogene und vertrauliche unternehmerische Daten abfließen. Dies gilt sowohl für den regulären Datenabfluss im laufenden Betrieb des KI-Systems als auch durch rechtswidrige Angriffe durch Dritte, welche das KI-System für sich ausnutzt. Auch die Frage, in welchem Zeitraum erforderliche Updates zur Verfügung stehen, um die Gesetzes- bzw. Aufgabenkonformität des KI-Systems aufrechtzuerhalten, ist von entscheidender Relevanz. Hinzukommen weitere Fragen, wie die Bereitschaft und die Fähigkeit der Entwickler, Haftung für Fehler des KI-Systems zu übernehmen. Zumal die Wahrscheinlichkeit, dass durch das KI-System Serienfehler produziert werden, sehr hoch ist.
-
Welche Besonderheiten bestehen bei dem Einsatz von KI-Systemen im Rahmen von Entscheidungen der Unternehmensleitung?
Entledigt sich die Unternehmensleitung durch den Einsatz von KI-Systemen vollständig ihrer Leitungsverantwortung, verstößt sie gegen die ihr gesetzlich zugewiesene Aufgabe bzw. Verantwortung. Dies ist somit ausgeschlossen. Die Letztentscheidungskompetenz muss zwingend bei der Unternehmensleitung bleiben.
Im Rahmen des Einsatzes von KI-Systemen bei der Vorbereitung von Ermessensentscheidungen der Unternehmensleitung ist zudem Folgendes zu berücksichtigen. Die Unternehmensleitung muss im Rahmen des ihr eingeräumten unternehmerischen Ermessens auf Grundlage der ausgewerteten Informationen eine eigene Einschätzung der bestehenden Handlungsoptionen des Ergebnisses des KI-Systems, einschließlich der erkennbaren Risiken, vornehmen. Sie muss im Interesse der Gesellschaft handeln, ihre Entscheidung darf nicht unvertretbar sein. Dies im Hinblick auf KI-Systeme und ihre „Entscheidungen” zu beurteilen, erscheint vielfach unmöglich, da das von dem KI-System ermittelte wahrscheinlichkeitsbasierte Ergebnis nicht ohne Weiteres für die Unternehmensleitung nachvollziehbar ist und auch die Unsicherheit des Ergebnisses nicht quantifiziert werden kann. Auch gibt es keine Begründung des Ergebnisses. Selbst wenn Algorithmen, Verarbeitungsprozesse und zugrunde liegende Daten einsehbar wären, führt dies nicht automatisch dazu, dass die Nachvollziehbarkeit des von dem KI-System ermittelten Ergebnisses für die Unternehmensleitung gewährleistet ist. Aus Sicht der Unternehmensleitung ein Dilemma! Auf welcher Informationsgrundlage entscheidet sie sich, der Entscheidung des KI-Systems zu folgen oder sich gegen diese zu wenden? Wie grenzt die Unternehmensleitung ihr eigene Entscheidungsfindung von der des KI-Systems ab?
Nicht einfacher wird es, wenn man das Ergebnis des KI-Systems einem Experten-Rat gleichstellt. Denn die in diesem Fall geforderte Plausibilitätskontrolle des Ergebnisses des KI-Systems ist nicht möglich. Ein KI-System ist gerade kein Gutachten mit überprüfbarem Sachverhalts- und Analyseteil. Erschwerend kommt hierbei hinzu, dass der Experten-Rat unabhängig erfolgen muss. Gerade diese Unabhängigkeit kann im Hinblick auf den Anbieter des KI-Systems, die durchaus mögliche (verdeckte) Verfolgung eigener Ziele in den Algorithmen nicht oder nur schwer gewährleistet werden.
Im Ergebnis bedeutet dies, dass KI-Systeme für geschäftskritische Prozesse derzeit lediglich als eine Informationsquelle unter mehreren in Betracht kommen. Sie können jedoch nicht für Empfehlungen oder gar für Entscheidungen eingesetzt werden.
Ergebnis:
Im Zentrum des Einsatzes von KI-Systemen steht die Transparenz der Entscheidung bzw. der Entscheidungsfindung. Dies betrifft sowohl das „ob” als auch das „wie”, aber insbesondere auch den Umgang mit den von KI-Systemen berechneten Ergebnissen. Solange diese Transparenz nicht gewährleistet ist, besteht insbesondere bei geschäftskritischen Entscheidungen ein nicht zu unterschätzender hoher Sorgfaltspflichtmaßstab der Unternehmensleitung. Ob sich hieran durch den sich abzeichnenden Einsatz von Explainable Artificial Intelligence (XAI) etwas ändert oder die genannten Fragen und Probleme sich nur auf eine andere Ebene verlagern, bleibt abzuwarten.