Einblick ins KI-Labor
Von Berlin aus arbeitet Slav Petrov mit weiteren KI‑Spezialist:innen von Google aus aller Welt an neuen KI-Sprachmodellen. Das aktuelle Modell kann über 100 Sprachen verstehen, generieren und übersetzen – und es kann sogar programmieren. Wie hat es das gelernt?
Genau damit befasst sich Slav Petrov. Nach zehn Jahren in New York ist der KI-Experte seit 2019 zurück in seiner Heimatstadt Berlin und arbeitet an großen Sprachmodellen. Die Vorgänger von PaLM 2 waren jeweils spezialisiert und optimiert auf nur einen bestimmten Bereich: Das Verstehen, das Generieren oder das Übersetzen von Sprache. »Ich habe mich gefragt, wie es weitergehen kann«, erzählt Petrov. »Bekommen wir ein Modell hin, das alle diese Fähigkeiten auf einmal beherrscht?«
Mit der Arbeitsthese, dass KI immer besser wird, für je mehr Fähigkeiten sie trainiert wird, zog Petrov Ende 2021 ein Team der führenden Spezialistinnen und Spezialisten von Google für die Arbeit am multilingualen Sprachmodell PaLM 2 zusammen. »Weil das Team über den ganzen Globus verstreut ist, arbeitet quasi immer jemand zu jeder beliebigen Uhrzeit. Das ist auch gut so – das Feld entwickelt sich wahnsinnig schnell.«
Auch Petrov arbeitet zu ganz unterschiedlichen Zeiten: Mal sitzt er bereits morgens um 7 Uhr am Schreibtisch, wenn seine Familie gerade aufsteht. Dann erwischt er online noch einige Kolleginnen und Kollegen in Kalifornien. Für die Ostküste eignet sich grundsätzlich der Nachmittag besser, der an allen Tagen komplett für Videokonferenzen geblockt ist. An manchen Tagen gibt es dann sogar am späten Abend mal einen Termin. Dafür ist es aber vormittags ruhig, und Petrov hat Zeit zum Nachdenken.
Typisches Training: Sätze vervollständigen
Jetzt, am späten Vormittag, steht Petrov in seinem Großraumbüro auf dickem Teppichboden. »Quiet Area« steht draußen auf einem Schild, »Ruhe bitte«. Während vieles hier in der Berliner Google-Niederlassung gegenüber der Museumsinsel bunt und verspielt wirkt, ist dieser Raum auffällig nüchtern. Hier werden die Sprachmodelle mit besonderen »Trainingsaufgaben« verbessert.
»Eine typische Trainingsaufgabe, die wir PaLM 2 stellen, ist, Sätze zu vervollständigen«, erzählt Petrov. Etwa: »Spaghetti sind eine Art von … und man nennt sie auch Pasta.« Nun muss die KI herausfinden, dass Spaghetti zu den Nudeln gehören. »Wir lassen einfach Wörter aus dem Datensatz aus, und das Programm muss die fehlenden Wörter vorhersagen«, erklärt Petrov. »Das ist wichtig, damit das Programm lernen kann zu verstehen. Am Anfang rät es nach dem Zufallsprinzip, aber später trifft es recht zuverlässig.« Es braucht eine ganze Reihe von Versuchen, damit das Sprachmodell hinzulernen kann – dabei lernt es sowohl Fakten als auch Grammatik, je nachdem, welches Wort man auslässt. So erfährt es zum Beispiel, dass man Spaghetti auch Nudeln oder Pasta nennen kann. Nach und nach lernt das Programm, nicht nur einzelne Wörter, sondern Sätze zu vervollständigen, also zu generieren. Und schließlich ganze Texte in eine andere Sprache zu übersetzen. Dazu gehören mittlerweile auch 20 Programmiersprachen.
»Wir sehen uns in der Verantwortung, dass das Ökosystem Internet weiter floriert. Wir denken dabei an alle Nutzerinnen und Nutzer – auch an diejenigen, die Inhalte produzieren, sowie Werbetreibende«
Slav Petrov, Senior Research Director
Slav Petrov arbeitet daran, dass digitale Übersetzer, Alltagsratgeber oder medizinische Assistenten auf Basis künstlicher Intelligenz funktionieren.
PaLM 2 kann sogar Roboter steuern
Weil PaLM 2 Muster in einem Datensatz erkennen kann, lernt es auch indirekte Zusammenhänge und kann – in Ansätzen – generalisieren. So lassen sich Probleme im Umgang mit Wörtern lösen, die mehrere Bedeutungen haben. Die KI kann dann sogar Sprichwörter und Redewendungen, wie »Ich habe die Nase voll!«, richtig einordnen – und das sogar in verschiedenen Sprachen. »Das Modell lernt, zwischen Sprachen zu übersetzen und Konzepte zu vergleichen, dadurch erkennt es Zusammenhänge«, sagt Petrov. Als Beispiel nennt er die Steuerung intelligenter Roboter, für die PaLM 2 künftig genutzt werden könnte. Wenn ein Mensch etwa sagen würde, dass er Durst hat, dann übersetzt das Modell dies in Anweisungen, denen der Roboter folgen kann: Er geht dann zum Kühlschrank, holt ein Getränk heraus und bringt es der Nutzerin oder dem Nutzer. Früher hätte man diese und andere Schritte dezidiert beschreiben müssen, PaLM 2 hat diese Zusammenhänge beim Training automatisch erkannt.
All diese Möglichkeiten können grundsätzlich alle Entwicklerinnen und Entwickler nutzen, denn Google macht PaLM 2 über Google Cloud der Community zugänglich. Für Slav Petrov ist es wichtig, KI-Technologien ständig zu verbessern, zu überprüfen und sicherzustellen, dass sie den hohen ethischen Standards der KI-Prinzipien von Google genügen. »Natürlich ist das in der Praxis aufwendig«, sagt der KI-Experte. »Aber das ist wichtig und richtig, denn wir sind überzeugt davon, dass es uns dabei hilft, KI zum Wohle der Gesellschaft weiterzuentwickeln.« Die Verantwortung von Tech-Unternehmen müsse es sein, Technologie für Menschen zugänglich und nützlich zu machen. Dazu gehören auch alle, die kein Englisch sprechen. »Unser Sprachmodell beherrscht über 100 Sprachen und ist gemacht für Menschen auf der ganzen Welt. Deswegen bin ich so stolz darauf.«
Fotos: Felix Brüggemann
