Ein ungelöstes Problem: Große Sprachmodelle halluzinieren. (Foto: Moment / Getty Images)
Für viele Unternehmen sind die Fehler und Falschaussagen eines der größten Hemmnisse, Künstliche Intelligenz in ihre Geschäftsanwendungen zu implementieren. Vielleicht haben Sie vom Fall der Fluggesellschaft Air Canada gehört, die einem Fluggast Geld zurückerstatten musste, nachdem ihr Bot ihm fälschlicherweise einen Rabatt versprochen hatte. Solche Beispiele schrecken ab.
Umso interessanter ist ein Fachbeitrag, den vier KI-Wissenschaftler diese Woche im Magazin Nature veröffentlicht haben. Darin beschreiben die Forscher der Universität Oxford eine statistische Methode, die zumindest einen Teil der Halluzinationen verhindern soll.
Und das steht dahinter:
- Für bestimmte Fehler von KI-Modellen gibt es bereits technische Methoden, um Abhilfe zu schaffen. So können die Aussagen einer KI zum Beispiel automatisch einem Faktencheck unterzogen werden. Das funktioniert aber nur, wenn Datensätze mit allen korrekten Informationen vorliegen.
- Den Forschern geht es nun um Fälle, bei denen Menschen die richtige Antwort gar nicht wissen oder das Sprachmodell willkürlich antwortet, weil die Trainingsdaten nicht eindeutig sind. In diesen Fällen wollen sie mit einem zweiten Modell überprüfen, ob die Antwort über mehrfache Anfragen hinweg konsistent ist und damit die Unsicherheit des Modells einschätzen.
- Ungelöst bleiben damit Probleme, die mit Fehlern in den Trainingsdaten einhergehen. Denn wenn das Modell mit falschen Daten trainiert wurde, ist es sich seiner Antwort möglicherweise zu 100 Prozent sicher – obwohl sie falsch ist.
Philipp Hennig, Professor für die Methoden des Maschinellen Lernens an der Eberhard-Karls-Universität Tübingen, sagt: „Die Studie liefert ein Hilfsmittel, um eine wichtige Form von KI-Fehlverhalten zu erkennen.“ Ein Allheilmittel sei sie allerdings nicht.
Dieser Beitrag erschien in unserem KI-Newsletter. Wenn Sie mehr solcher Artikel lesen möchten, abonnieren Sie gerne das KI-Briefing hier.
Mehr zum Lügendetektor lesen Sie hier.