Neue KI-Architektur? Transformer-Modelle kommen an ihre Grenzen. (Optik: Michel Becker | Dall-E)
Warum das wichtig ist: In kaum einem Forschungsfeld liegen Grundlagenforschung, Produktentwicklung und Kommerzialisierung derzeit so nah beieinander wie bei Künstlicher Intelligenz. Das lässt schon ein Blick auf die fünf wissenschaftlichen Veröffentlichungen erahnen, die ein Komitee mit den Best Paper Awards der Konferenz ausgezeichnet hat. Jedes dieser Paper haben Wissenschaftler von Universitäten und Forscher in großen Technologieunternehmen gemeinsam geschrieben.
Larissa Holzki und Lina Knees haben sich angeschaut, mit welchen Themen sich die Paper beschäftigen.
Hier sind die Teams und ihre zentralen Ergebnisse:
- Chinas Techkonzern Bytedance und Universität Peking: Die Forscher präsentieren einen neuen Ansatz, wie KI aus Bildern lernen und neue Bilder generieren kann. Die gängigen Diffusionsmodelle puzzeln Bilder vereinfacht gesagt aus Pixeln zusammen. Bei dem neuen Ansatz wird das Bild schrittweise in höherer Auflösung generiert. Die Autoren versprechen sich davon eine höhere Bildqualität, Dateneffizienz und Geschwindigkeit.
- Singapurs Consumer-Internet-Firma Sea und die Nationaluniversität von Singapur: Die Forscher zeigen eine Methode, die beim Training von Transformern weniger Rechenleistung benötigt. Dabei geht es um die Architektur praktisch aller großen Sprachmodelle. Das Verfahren könnte also komplexe Modelle ermöglichen, die aufgrund des riesigen Bedarfs an Rechenleistung bisher nicht realisierbar waren.
- Microsoft und die chinesischen Unis Xiamen und Tsinghua: Das Team hat ein Sprachmodell vorgestellt, das im Trainingsprozess wichtigere und unwichtigere Tokens – also Wörter und Wortbruchstücke – unterscheidet und dadurch bei geringerem Daten- und Computingeinsatz bessere Ergebnisse erzielt.
- Nvidia und Finnlands Aalto Universität: Die Forscher haben ein Verfahren entwickelt, das sicherstellen soll, dass KI-Modelle sich beim Generieren von Bildern stärker an die Anweisungen halten. Vereinfacht gesagt ist dabei ein KI-Modell für den kreativen Entwurf zuständig und ein anderes kontrolliert, dass die Vorgaben eingehalten werden.
Hannah Rose Kirk: Ein Paper der Oxford-Doktorandin zählt zu den besten Veröffentlichungen der NeurIPS (Foto: Oxford Internet Institute)
- Meta, Cohere, Uni Oxford und weitere Firmen und Universitäten: Unter Federführung des Oxford Internet Institutes und Doktorandin Hannah Rose Kirk haben sich die Forscher mit dem Alignment-Problem befasst, also der Anpassung von KI an menschliche Werte. Ein Ergebnis: Wenn Modelle mit menschlichem Feedback trainiert werden, ist die Auswahl der Feedback-gebenden Personen und ihr kultureller Hintergrund entscheidend. Ich empfehle Ihnen das unterhaltsame Video auf Youtube, in dem die Ergebnisse erklärt werden. Einer der Co-Autoren dieses Papers kommt ursprünglich übrigens aus Neuss.
Neben solchen Schwerpunkten kam auch das Thema der Leistungssteigerung des Transformer-Modells auf. Denn obwohl die großen Technologie-Firmen immer mehr Rechenleistung und immer mehr Daten aufwenden, um ihre KI-Modelle zu verbessern, werden die Fortschritte immer kleiner. Zudem sind die notwendigen Ressourcen wie Computing Power, Daten und Energie begrenzt. Was die Community nun also braucht, sind neue Ideen.
Björn Ommer, Professor an der Ludwig-Maximilians-Universität München (Foto: Ansgar Pudenz)
Laut dem Münchener KI-Wissenschaftler Björn Ommer setzt die Forscher-Community dabei gerade vor allem auf die Verbindung verschiedener Techniken und sogenannte Adapteransätze, mit denen bestehende Architekturen auf effiziente Weise ergänzt und modifiziert werden können.
Einen solchen Ansatz hat der Experte für KI-basierte Bilderzeugung auch selbst mit einem Team der beiden Münchener Universitäten vorgestellt: Konkret soll damit besser kontrolliert werden können, dass Personen auf KI-Bildern auch bei komplexeren oder ungewöhnlichen Posen richtig dargestellt werden.
Dieser Beitrag erschien in unserem KI-Newsletter. Wenn Sie mehr solcher Artikel lesen möchten, abonnieren Sie gerne das KI-Briefing hier.