MT-Training: Macht Übung noch den Meister?

Vorgaben zum Siezen oder Duzen, die Unterscheidung zwischen weiblichen und männlichen Tätigkeitsbezeichnungen, eine maschinelle Anpassung von ähnlichen Übersetzungstreffern aus dem Translation-Memory-System und fachspezifische Terminologievorgaben: Mittlerweile gibt es einige Stellschrauben, um Übersetzungsergebnisse generischer MT-Systeme an individuelle Unternehmensvorgaben anzupassen. Die Funktionen versprechen einen besseren Output und damit weniger Nachbearbeitungsaufwand bei gleichzeitig überschaubaren Kosten für die Nutzung.

Während sich die Systemanbieter beinahe einen Wettlauf um die besten Features liefern, fragen sich viele Nutzer:innen zu Recht, ob sich Customization, also eine eigens für das Unternehmen trainierte MT-Engine, überhaupt noch lohnt.
Denn das Training eines MT-Systems ist und bleibt eine Blackbox, da die Qualität der Übersetzung erst nach Abschluss der Customization verlässlich eingeschätzt werden kann. Demgegenüber stehen hohe Investitionskosten und der große Zeitaufwand für die Datenzusammenstellung, -bereinigung und das spezifische Training.

Um etwas Licht in diese Blackbox zu bringen, lohnt sich ein Blick auf Unternehmen, die den Weg des MT-Trainings gegangen sind. Wir haben einen unserer Kunden mit Vergleichsanalysen vor und nach dem Training begleitet und teilen in diesem Beitrag die gewonnenen Insights.

Gerade die generischen Allrounder der maschinellen Übersetzungssysteme überbieten sich aktuell nicht nur mit zusätzlichen Sprachkombinationen, sondern auch mit den schon genannten neuen Features, um bisherige Fehlerquellen zu beheben.

Während die Wahl zwischen formeller und informeller Leseransprache und die Verwendung gendergerechter Tätigkeitsformen für viele professionelle Übersetzungen zwar sinnvoll sind, aber eventuell nur einen geringen Wirkungsgrad haben, verspricht die maschinelle Anpassung von Fuzzy Matches einen deutlichen Qualitäts- und Produktivitätssprung. Die Maschine sucht dabei ähnliche Segmente aus dem Translation-Memory-System und ergänzt dann nur die Abweichungen. Das reduziert die manuelle Nachbearbeitung während des Posteditierens und führt zu deutlich konsistenteren Übersetzungen.

Wirklich große Fehlerquellen beim Einsatz generischer MT-Systeme stellen bisher Terminologievorgaben dar, die von den frei verfügbaren Engines nicht oder zumindest nicht verlässlich umgesetzt werden können. Denn die Systeme übersetzen zwar sprachlich flüssig und schlüssig, kennen aber keine unternehmensspezifischen Vorgaben und liefern damit eventuell Fachtermini in der Übersetzung, die nicht den Vorgaben und Wünschen der Nutzer:innen entsprechen.

Für die Umsetzung der gewünschten Terminologie führte bisher kein Weg an einer unternehmensspezifischen MT-Engine vorbei, wobei auch diese keinen Erfolg garantieren kann. Denn das Ergebnis trainierter Maschinen steht und fällt mit der Qualität der Trainingsdaten. Und für Fachtermini bedeutet dies: Sind diese konsistent und in ausreichender Zahl im Trainingsmaterial enthalten, ist eine Umsetzung in der Übersetzung verlässlich. Werden allerdings terminologisch unsaubere Trainingsdaten mit vielen Synonymen, unterschiedlichen Schreibweisen und inkonsistenten Äquivalenten verwendet, wird auch das trainierte MT-System im Produktiveinsatz keine einheitliche Fachterminologie liefern können. Es gilt das bekannte Motto: garbage in, garbage out.

In einigen MT-Systemen, zum Beispiel bei TextShuttle und DeepL, lässt sich Terminologie in Form eines Glossars in die maschinelle Übersetzung einbinden. Gewünschte Fachtermini werden somit an das System übermittelt und deren Einhaltung forciert. Angesichts des bisherigen Fehlerpotenzials und des entsprechend hohen Nachbearbeitungsaufwands für Fachterminologie sorgt diese Funktion natürlich für Begeisterung. Denn ein Glossar ist deutlich schneller und kostengünstiger erstellt, als sich ein MT-System mit Unternehmensvorgaben trainieren lässt. Gleichzeitig ist die Option dynamischer, da ein Glossar kontinuierlich erweitert oder angepasst werden kann. Allerdings führt die Forcierung nicht immer zu den gewünschten Ergebnissen oder erfolgt, je nach Vorgaben, teilweise “mit der Brechstange”, ohne dass der Kontext berücksichtigt wird.

Es tut sich auf jeden Fall viel im Bereich der zusätzlichen Features für maschinelle Übersetzung. Reichen diese aber aus, um ein unternehmensspezifisches Training überflüssig zu machen? Wir schauen in die Details und analysieren, ob und wie sehr sich die Übersetzungsqualität durch ein MT-Training steigern lässt. Glücklicherweise können wir das gleich für sechs Sprachen machen.

Einer unserer Kunden aus dem Softwarebereich setzt bereits seit vielen Jahren auf MTPE für Übersetzungsprojekte. Im ersten Jahr erfolgte die maschinelle Vorübersetzung für alle sechs benötigten Zielsprachen mit der gleichen generischen Engine. Dann analysierte das MTPE-Team bei oneword den Output drei verschiedener MT-Systeme auf die Eignung für die Unternehmenstexte. Das Ergebnis: Für vier Sprachen lieferte ein anderes MT-System bessere Ergebnisse bei der Positionierung von Tags, der Leseransprache und der Übersetzung von Aufforderungen. Ab diesem Zeitpunkt wurden abhängig von der Zielsprache also zwei verschiedene MT-Systeme eingesetzt, was zu sehr guten Bewertungen der Posteditor:innen und einem verbesserten Wortdurchsatz beim Posteditieren führte.

Zur nachträglichen Bewertung des PE-Aufwands und der Qualität der MT-Vorübersetzung führen wir bei oneword umfangreiche Analysen nach Projektabschluss durch. Wir unterteilen die maschinell vorübersetzten Segmente (MT-Segmente) dabei in drei Kategorien:

1. Wie viele MT-Segmente mussten gar nicht bearbeitet werden?
2. Wie viele MT-Segmente mussten nur leicht (zu max. 15 %) bearbeitet werden?
3. Wie viele MT-Segmente mussten umfangreich bearbeitet oder komplett neu übersetzt werden?

Wenn sich die Ergebnisse zu jeweils einem Drittel pro Kategorie einordnen lassen, liegen wir in einem für MTPE erwartbaren Bereich. Je mehr Segmente jedoch in die Kategorien 1 und 2 fallen, desto weniger Nachbearbeitung ist nötig und desto besser ist das Projekt für MTPE geeignet.

Bei unserem Kunden lagen die Werte nach Einsatz der beiden generischen MT-Systeme je nach Zielsprache zu 15 bis 34 Prozent in Kategorie 1 und zu 21 bis 35 Prozent in Kategorie 2. Gepaart mit den guten Bewertungen unserer Posteditor:innen liefen die MTPE-Projekte also mit einem zufriedenstellenden Ergebnis ab. Aber: „Never change a running system“ kam für unseren Kunden aus einigen Gründen nicht in Frage.

Neben einer ausgeprägten und von Haus aus vorhandenen Technikaffinität zeichnet sich die Dokumentationsabteilung des Unternehmens vor allem dadurch aus, Prozesse immer wieder zu hinterfragen und kontinuierlich nach Optimierungen zu suchen. Schon der erste Einsatz von MTPE erfolgte mit dem Ziel, möglichst alle Sprachen der Software gleichzeitig bereitstellen zu können. Dafür soll im ersten Schritt die reine maschinelle Vorübersetzung verwendet werden, während das Posteditieren parallel erfolgt. Nach dem Posteditieren sollen die finalen Texte in die Software eingespielt und den Kund:innen nochmals bereitgestellt werden. Dieser Ansatz bringt zwei zentrale Anforderungen mit sich:

1. Eine ausreichend gute Qualität der reinen maschinellen Vorübersetzung, sodass diese bereits Kund:innen bereitgestellt werden kann.
2. Ein geringer Aufwand im Posteditieren, um die finalen Texte möglichst schnell nachliefern zu können.

Neben der Umsetzung dieser Anforderungen ist ein Blick auf die bisherigen Fehlerquellen wichtig: Was verursacht den Hauptaufwand beim Posteditieren und welche Fehler sind so gravierend, dass sie die Nutzung der reinen maschinellen Outputs be- oder verhindern? Neben Spezifika wie der Umsetzung von Tags und der Formulierung von Aufforderungen wurden vor allem Terminologie und Stilvorgaben als hoher Nachbearbeitungsaufwand identifiziert. Gleichzeitig kann das Unternehmen aufgrund der sehr intensiven internen Qualitätskontrolle der Übersetzungen und durch eine professionelle Terminologiearbeit auf hochqualitative Translation-Memory-Daten zurückgreifen. Eine perfekte Ausgangsbasis also für das Training von MT-Engines, das für unseren Kunden der nächste logische Schritt war.