AI-Sprachmodelle haben sich inzwischen so weit entwickelt, dass sie in der Lage sind, Aufgaben in Service und Support zu übernehmen und zumindest einen Teil der Kundenanfragen automatisiert zu bearbeiten. Doch AI-gestützte Softwaresysteme unterscheiden sich von den bisher üblichen Softwarelösungen. Sie haben Eigenheiten, die von den Betreibern einen anderen Umgang damit im IT-Betrieb erfordern.
Wenn Sprachmodelle unberechenbar werden
Sprachmodelle arbeiten nicht deterministisch, wie IT-Experten sagen. Herkömmliche Software liefert bei gleichen Eingaben das gleiche Ergebnis. AI dagegen arbeitet anders, da sie ein gewisses Zufallselement enthält. Die Antworten können variieren, selbst wenn sich die Anfrage nicht ändert. Hinzu kommen „Halluzinationen” mit erfundenen Fakten, schwankende Antwortzeiten und Kosten, die vom Umfang der Ein- und Ausgabe abhängen.
Für den produktiven Einsatz und ausreichend Kostenkontrolle benötigen Unternehmen Einblick in den gesamten Ablauf einer AI-Anfrage. Diese Aufgabe übernimmt AI-Observability. Sie erweitert das klassische Monitoring um spezifische AI-Daten. Einige Beispiele: Informationen über Modellaufrufe, Antwortzeiten, Token-Verbrauch und die Qualität der Ergebnisse. Entscheidend ist dabei eine End-to-End-Perspektive. Sie reicht vom Eingabepunkt über beteiligte Anwendungen und Schnittstellen bis zum Sprachmodell und zurück zur ausgegebenen Antwort. Erst diese durchgängige Sicht deckt auf, an welcher Stelle Verzögerungen oder unerwartete Kosten entstehen.
Modellverhalten und Kosten überwachen
Wie wichtig diese Transparenz ist, zeigt der Zahlungsdienstleister FreedomPay. Das Unternehmen nutzt generative AI für Transaktionsanalysen, Betrugserkennung und Abläufe im Kundenservice. Es betrachtet Observability dabei als Voraussetzung für die breite Nutzung von künstlicher Intelligenz. Das Unternehmen überwacht den Weg von der Eingabe bis zur Modellantwort und erhält dadurch Einblick in das Modellverhalten und die Kosten. Zusammen mit Metriken, Logs und Traces aus anderen Bereichen der IT-Infrastruktur erkennt FreedomPay durch AI-Observability Probleme, bevor sie Transaktionen oder das Kundenerlebnis beeinträchtigen.
Gerade der Token-Verbrauch weist auf andere Anforderungen als bei herkömmlichen Anwendungen hin. Beim API-Zugriff auf Modelle hängt ein Teil der Betriebskosten davon ab, wie viele Tokens verarbeitet werden. Die Anbieter unterscheiden dabei im Preis zwischen drei Arten von Token: System-, Eingabe- und Ausgabe-Token. Mit Ersterem sind allgemeine Anweisungen an das Modell gemeint, während die anderen Token-Arten den Ablauf des Dialogs betreffen. Selbst kleinere Ineffizienzen können sich aufschaukeln. Bei Tausenden oder Millionen Interaktionen im produktiven Betrieb entsteht ein erheblicher Kostenfaktor.
Mehr Kontrolle für die Skalierung
AI-Observability wird so zu einer Kontrollschicht für den produktiven Einsatz von künstlicher Intelligenz. Sie ermöglicht die Untersuchung von Fehlerquellen, Kostenrisiken und Qualitätsregeln. Gleichzeitig entstehen Daten, die für Governance und regulatorische Nachweise genutzt werden können. Damit erleichtert Observability den kontrollierten Einsatz generativer AI im Finanzsektor.
Denn Pilotprojekte mit wenigen Nutzern lassen sich leicht überblicken. Sobald AI jedoch im Tagesgeschäft eingesetzt wird, steigt die Zahl der Modellaufrufe stark. Zugleich wachsen die möglichen Risiken des Fehlverhaltens von Modellen. Transparenz über die gesamte Verarbeitungskette ist damit die Grundlage für eine erfolgreiche Skalierung.