21.08.2024

Es ist wieder Quality Time und dieses Mal mit einem ganz besonderen Anlass. Jasmin Nesbigall, Fachleitung MTPE und Terminologiemanagement bei oneword, wurde von der Generaldirektion Übersetzung der EU-Kommission eingeladen, um einen Impulsvortrag über die Entwicklung von künstlicher Intelligenz und Terminologie zu halten. Darüber spricht sie in der neuen Episode mit Sara Cantaro, Fachleitung Marketingmanagement. Ein spannender Austausch über die Einsatzmöglichkeiten von KI in der Terminologiearbeit und ein Einblick in die Arbeitsweise der EU-Kommission.

Jasmin Nesbigall und Sara Cantaro (Quelle: oneword)

Sara Cantaro (SC): Jasmin, du hast kürzlich einen Impulsvortrag bei der EU-Kommission gehalten – wie kam es dazu?

Jasmin Nesbigall (JN): Das war tatsächlich eine spannende Geschichte! Ein Mitglied der Terminologie-Abteilung der Europäischen Kommission hatte auf der letzten tekom Jahrestagung meinen Vortrag gehört und hat mich dann für diese jährliche Veranstaltung der Kommission empfohlen. Bisher wurden die Impulsvorträge immer von Professor:innen aus ganz Europa gehalten. Soweit ich weiß, war es jetzt das erste Mal, dass ein Industrieunternehmen eingeladen wurde.

SC: Das ist eine wirklich große Ehre und auch eine Anerkennung unserer und vor allem deiner Arbeit.

JN: Absolut! Es ist immer schön zu hören, dass wir mit unserer Expertise auffallen und die Gelegenheit bekommen, diese zu zeigen und weiterzugeben.

SC: Du durftest den Vortrag vor der Terminologieabteilung, einer Unterabteilung der Generaldirektion Übersetzung halten. Wie viele Leute waren bei der Veranstaltung dabei?

JN: Im Unterbereich Terminologie sind etwa 60 Personen tätig, die im Vortrag waren. Die meisten von ihnen sind ausgebildete Terminolog:innen oder Übersetzer:innen, die die Terminologie der Europäischen Kommission in allen 24 Amtssprachen erstellen und pflegen.

SC: Bei deinem Vortrag ging es um die Schnittstelle zwischen klassischer Terminologiearbeit und KI. Du bist damit eingestiegen, dass diese beiden Bereiche auf den ersten Blick nicht viel gemeinsam haben. Wie meinst du das?

JN: Terminologiearbeit erfordert Akribie, Fachexpertise und Liebe zum Detail – also Eigenschaften, für die KI nicht gerade bekannt ist. Terminologie ist sehr kleinteilig und spezifisch, während KI eher allgemein arbeitet und vor allem häufig vorkommende Wörter bevorzugt. Außerdem besteht die Gefahr, dass KI „halluziniert“, also falsche Informationen generiert. Auf den ersten Blick scheint das nicht gut zusammenzupassen. Im Vortrag habe ich dann gezeigt, wie und wo die beiden aber doch harmonieren können. Passend dazu war der Titel des Vortrags, ob KI und Terminologiearbeit eher Freunde oder Feinde sind. Aber selbst mit Freund:innen muss man ja nicht alles gemeinsam haben.

SC: Welche Erfahrungen haben wir denn bei oneword bisher mit dem Einsatz von KI in Sprachprozessen gesammelt?

JN: Wir testen zum Beispiel, ob der Einsatz von KI als zusätzliche Sprachressource – neben existierenden Technologien wie Translation Memorys und klassischen maschinellen Übersetzungssystemen – den Prozess verbessern kann. Ein Vorteil der KI dabei ist, dass sie deutlich anpassungsfähiger ist und Vorgaben und Anforderungen flexibler geändert werden können. Die Betrachtung der Technologie ist umso spannender, da KI-Modelle nicht speziell fürs Übersetzen entwickelt wurden, sondern durch das Training mit Texten in vielen Sprachen diese Fähigkeit „on the fly“ erlernt haben. Für die Terminologiearbeit haben wir den Einsatz in unterschiedlichsten Prozessen des Terminologie-Lebenszyklus untersucht, von der Extraktion über die Bereinigung und Anreicherung bis hin zur Bereitstellung und Pflege. Für den Vortrag habe ich den Fokus auf drei Bereiche gelegt: Extraktion, Systematisierung und die Erstellung von Definitionen.

SC: Welche Ergebnisse hatten deine Experimente dazu?

JN: Fangen wir bei der Terminologie-Extraktionen an, also dem gezielten Herausziehen von Fachtermini aus Texten. Man könnte vermuten, dass dies eine Stärke von KI sein könnte. Wir haben das Ergebnis in Vergleich gestellt mit einer manuellen Extraktion durch zwei Terminologinnen aus unserem Team und mit einer softwaregestützten Extraktion. Bei den Ergebnissen der KI ist noch viel Luft nach oben. Selbst im besten Ergebnis hat das Large Language Model (LLM) nur etwa ein Viertel dessen extrahiert, was wir im manuellen Ergebnis erfasst hatten.

SC: Das ist dann ja ein eher ernüchterndes Ergebnis.

JN: Ein Viertel ist natürlich besser als gar nichts. Außerdem muss man neben der reinen Menge ja auch andere Faktoren, vor allem Qualität und Zeit betrachten. Im Tempo zum Beispiel ist die KI ungeschlagen. Außerdem müssen wir die Zielsetzung betrachten: Wenn der Anspruch ist, nach und nach eine Terminologie aufzubauen, die nicht allumfassend sein muss oder einfach keine Zeit für eine manuelle Extraktion da ist, dann kann KI auch bei der Extraktion im Arbeitsalltag sehr nützlich sein. In unserem oneword Blogbeitrag sind wir auf das ganze Experiment und die Ergebnisse nochmal ausführlicher eingegangen.

SC: War der Einsatz bei der Systematisierung erfolgreicher?

JN: Ja, absolut. Systematisierung bedeutet zum Beispiel, Termini in bestimmte Sachgebiete einzuordnen. Das beherrschte das LLM sehr gut. Auch wenn die KI selbst Sachgebiete vorschlagen sollte, waren diese sinnvoll und gingen teilweise über unsere eigenen Ideen hinaus. Manchmal lag das System bei der Einteilung daneben, aber das passiert Menschen genauso. Es gibt einfach Graubereiche bei der Systematisierung, weil manche Termini nicht eindeutig einem bestimmten Bereich zugeordnet werden können. Der Aufwand beim menschlichen Einsortieren steigt mit zunehmender Datenmenge, weshalb sich gerade bei umfangreichen Beständen gute Effizienzgewinne durch den Einsatz von KI erreichen lassen. Am deutlichsten war die Zeitersparnis beim Vorschlagen neuer Termini zu einem Oberbegriff oder Sachgebiet. Einfach 50 Begriffe als Wortwolke zu erhalten und diese dann zu prüfen, ist deutlich schneller, als diese 50 Begriffe selbst zu recherchieren.

SC: Wie sieht es beim letzten Anwendungsbereich – der Definitionserstellung – aus?

JN: Wir haben in unseren Versuchen mehrere Prompts getestet und mit einer manuell erstellten Definition verglichen. Wir dachten, dass auch hier wieder das menschliche Ergebnis als Goldstandard dienen würde. Aber keine Methode, auch nicht die menschliche, hat alle Aspekte erfasst, die für eine vollständige Definition nötig waren. Das ist ein wunderbares Beispiel um zu zeigen, wie KI unterstützen und Input liefern kann, an den man selbst nicht gedacht hat. Das beste Ergebnis konnte hier also erzielt werden, wenn man alle Ergebnisse zusammennimmt und daraus eine allumfassende Definition erstellt.

SC: Würdest du den Einsatz von KI im Terminologieprozess also empfehlen? Oder gibt es noch zu viele Probleme?

JN: Bei allen untersuchten Aspekten kann der Einsatz von KI Unterstützung bieten. Besonders deutlich wurde das bei der Systematisierung und Definitionserstellung. KI kann monotone Aufgaben deutlich erleichtern und vor allem auch neue Ideen liefern. Wichtig ist aber immer, die Ergebnisse zu überprüfen. Das zeigte sich besonders deutlich beim Thema Quellenangaben für Definitionen. Keine der ausgegebenen Quellen war wirklich vorhanden. Bei der Extraktion blieb das Ergebnis weit hinter dem manuellen Ergebnis zurück. In manchen Szenarien reicht das vielleicht, aber in der Praxis kann KI nur Co-Pilot sein und darf nicht das Steuer übernehmen.

SC: Wie war die Rezeption des Vortrags in der EU-Kommission? Was konnten die Expert:innen aus deinem Vortrag mitnehmen?

JN: Das Feedback war sehr positiv. Ich glaube, es ist immer hilfreich, einen Einblick in reale Tests und Ergebnisse zu bekommen, statt nur theoretische Möglichkeiten zu diskutieren. Ich hatte zu Beginn des Vortrags eine kleine Abfrage gemacht und der Großteil der Teilnehmer:innen gab an, KI noch nicht für die Terminologiearbeit getestet zu haben. Der Vortrag konnte dann vielleicht den Impuls geben, es mal im eigenen Arbeitsalltag auszuprobieren und die gewinnbringenden Aspekte mitzunehmen.

SC: Danke für das Gespräch Jasmin! Ich bin gespannt, wie sich die Technologie und ihr Einsatz in Sprachprozessen in den kommenden Jahren weiterentwickeln werden.