MT, PE, QA, auweh?
Qualitätssicherung im Umgang mit maschineller Übersetzung
Übersetzen mit Stift und Block? Wörterbücher schleppen und Terminologie-Listen ausdrucken? Wer sich bei diesem Gedanken ein wenig in die Studienzeit vor der Jahrtausendwende zurückversetzt fühlt, wird wahrscheinlich umso mehr spüren, wie sich der Übersetzungsprozess durch den Einsatz moderner Technologien bis dato verändert hat.
Die erste große Revolution stellten die immer potenter werdende Computerhardware und die damit einhergehenden Forschungen an automatisierten Übersetzungsworkflows dar. Der branchenweite Einsatz sogenannter CAT-Tools (Computer-Aided Translation), also Software, bei der bereits zuvor übersetzte Texte intelligent für Folgeprojekte wiederverwertet werden können, ließ nicht lange auf sich warten.
Mit der maschinellen Übersetzung wurde die zweite große Revolution eingeläutet. Grund also nun, den Menschen vor dem Computer nach Hause zu schicken und die Translatio ex machina zum Wundermittel zu erklären?
Wir meinen: Nein!
Denn wer maschinelle Übersetzung nachhaltig und effizient in bestehende Prozesse einbauen möchte, benötigt ein durchdachtes Qualitätssicherungskonzept, das nicht zuletzt die Arbeit unserer talentierten Sprachexpert*innen miteinschließt.
Beifall statt Unfall – wir zeigen Ihnen, worauf es ankommt!
Maschinelle Übersetzung (MT) im Arbeitsalltag
Der Einfluss von MT-Technologien auf das heutige Leben ist nicht zu leugnen. Mal ganz subtil im Hintergrund beim Scrollen durch ein Supportdokument, mal aktiv bei der Verwendung von Übersetzungssoftware zum Überwinden von Sprachbarrieren. Tagtäglich wachsen der Bedarf an Übersetzungen durch die zunehmende Globalisierung und das Bedürfnis der Menschen, Inhalte in ihrer eigenen Sprache zu konsumieren.
Dabei ergibt sich eine Vielzahl an Use Cases mit teilweise ganz unterschiedlichen Anforderungen – von der einfachen Informationsweitergabe zwischen Kolleg*innen bis hin zu sprachlich und inhaltlich aufwendigen Texten für Zielmärkte mit anspruchsvoller Klientel.
Die Anforderungen an MT-Systeme sind hoch: mehr Content in weniger Zeit zu besseren Konditionen. Um hier mithalten zu können, ist gutes und nachhaltiges Training notwendig!
Gut trainiert ist halb gewonnen
Die Geschichte der MT geht zwar schon auf das 20. Jahrhundert zurück, doch erst in den letzten Jahren konnte sich durch die Fortschritte im Bereich der Sprachverarbeitung und des Deep Learning eine Technologie herauskristallisieren, die mit einer enormen Flexibilität und einem deutlichen Qualitätsvorsprung im Vergleich zu früheren Ansätzen aufwartet.
Bei diesen sogenannten neuronalen MT-Engines (NMT) werden zwei- oder mehrsprachige Textkorpora, die verifizierte Übersetzungen beinhalten, gesammelt, bereinigt und dann mit Hilfe von Deep-Learning-Algorithmen sprachliche Strukturen definiert. Durch mehrere Trainingsläufe werden die Ergebnisse überprüft und weiter perfektioniert. Dabei findet bei der NMT sogar eine Kontextualisierung der Informationen in Form von Wortclustern statt, über die das System entscheiden kann, mit welcher Wahrscheinlichkeit bestimmte Wortkombinationen in Erscheinung treten.
Verblüffend, nicht wahr? Aber auch nicht fehlerfrei!
Denn nicht zuletzt entscheidet vor allem die Qualität des verwendeten Trainingsmaterials über den MT-Output.
Enthalten Ihre Texte falsche Terminologie, Inkonsistenzen oder Bezugsfehler? Dann wird die MT-Engine diese Fehler mit großer Wahrscheinlichkeit ebenfalls produzieren.
Auch ein Computer macht Fehler
Neben dem Prinzip Garbage in, garbage out gilt für die Arbeit mit modernen MT-Systemen vor allem eines: Erwartungen anpassen! Der Computer ist und bleibt ein Computer, auch wenn mit den heutigen technischen Mitteln beeindruckende Resultate möglich sind.
NMT-Systeme sind aufgrund ihrer Struktur in der Lage, selbst komplizierte Satzgefüge zu interpretieren und in der Zielsprache grammatikalisch und syntaktisch korrekt wiederzugeben. Anders als das menschliche Gehirn sehen sie einen Satz jedoch nicht im weiteren Kontext, also über Satz-, Abschnitts- oder sogar Dokumentgrenzen hinweg. Subtile Nuancen, Ironie und Wortspiele bleiben dabei häufig ebenso unerkannt wie die auftrags- oder kundenspezifische Terminologie.
In den gut formulierten Übersetzungen lauern also potenzielle Fehler, die es zu erkennen, korrigieren und bewerten gilt, um eventuelle Folgeschäden aufgrund von Übersetzungsfehlern zu vermeiden. Verlässliche Metriken zur Qualitätsmessung des MT-Outputs sind dabei ebenso essenziell wie der Einsatz von Sprachexpert*innen, die nicht nur eine hervorragende Qualität abliefern, sondern den MT-Workflow auch nachhaltig mit ihrem Feedback verbessern können.
Ganz schön angemessen – BLEU und PED
Beim Training und der Optimierung von MT-Engines wird häufig das branchenübliche BLEU-Verfahren (BiLingual Evaluation Understudy) verwendet. Dabei wird eine maschinelle Übersetzung eines Ausgangstextes produziert und mit der durch eine*n Übersetzer*in angefertigten Referenzübersetzung desselben Textes verglichen.
Als Vergleichselement dienen sogenannte frei skalierbare n-Gramme, also Einheiten aus Satzelementen, die dann eine Sequenz repräsentieren. Basierend auf der Häufigkeit des Vorkommens dieser n-Gramme wird so der Übereinstimmungsgrad zwischen dem MT-Output und der Referenzübersetzung ermittelt.
Ein BLEU-Wert von 1 bedeutet, dass der MT-Output und die Referenzübersetzung exakt übereinstimmen. Abweichungen in Form von syntaktischen Umstrukturierungen oder Synonymen führen zu einem niedrigeren BLEU-Wert, sind aber nicht zuletzt der Vielseitigkeit und Flexibilität von Sprache geschuldet. Bei der Interpretation der Ergebnisse sollte dieser Umstand in jedem Fall miteinbezogen werden.
Einen anderen, aber ebenso wichtigen Ansatz verfolgt die sogenannte Post-Editing Distance (PED). Bei dieser Methode wird im Gegensatz zur BLEU-Metrik nicht der MT-Output mit einer bereits bestehenden Humanübersetzung verglichen, sondern es werden die Änderungen zwischen dem reinen MT-Output und einer durch eine*n Übersetzer*in optimierten, qualitativ hochwertigen Version ausgewertet.
Grundlage für diese Auswertung ist die Levenshtein-Distanz, welche die Anzahl der Operationen (Einfügen, Löschen, Ersetzen) ausdrückt, die benötigt werden, um die erste Zeichenkette in die zweite zu überführen, in Abhängigkeit von der Gesamtzahl der Zeichen. Die PED wiederum interpretiert diesen Wert auf einer Skala von 0 bis 100 Prozent, wobei der höchstmögliche Wert angibt, dass der MT-Output unbearbeitet übernommen werden kann. Je niedriger der Wert, desto höher ist die Abweichung und damit gleichbedeutend der Aufwand, um den MT-Output den Qualitätsanforderungen entsprechend zu optimieren.
Beim Ermitteln der PED sind wir also auf die Arbeit gut ausgebildeter Übersetzer*innen angewiesen, die die Schwächen der MT-Systeme kennen und diese schnell identifizieren und korrigieren können. Diese geschickte Kombination aus MT-Systemen und menschlicher Expertise wird als MT-Post-Editing bezeichnet.
MT-Post-Editing als Qualitätsgarant
Die Tätigkeit des MT-Post-Editing ist nicht mit dem klassischen Lektorat einer Humanübersetzung vergleichbar.
Das Lektorat sorgt in der Regel für den letzten Feinschliff, bei dem kleinere Ungereimtheiten korrigiert und stilistische sowie terminologische Änderungen vorgenommen werden.
Eine moderne MT-Engine hingegen produziert eine Übersetzung, die dank der NMT-Technologie einen hohen Lesefluss und grammatikalisch-syntaktisch korrekte Satzstrukturen aufweist, aber zwischen den Zeilen je nach Komplexität des Ausgangstextes Auslassungen, Bedeutungsfehler oder Inkonsistenzen aufweist. Erfahrene Post-Editor*innen können diese kritischen Stellen schnell identifizieren und beheben. Dabei gilt stets die Devise: Den MT-Output so gut es geht verwenden! Das schließt jedoch nicht aus, dass mancher MT-Vorschlag komplett verworfen und die Übersetzung neu angefertigt werden darf – schließlich steht über alle dem ja auch der Anspruch an eine qualitativ hochwertige Übersetzung.
Qualität? Check!
Übersetzung zurück, Kunde zufrieden – und das war es jetzt?
Nein, denn die Optimierung MT-basierter Workflows profitiert von Feedback, das über das klassische „Das war gut“ oder „Das geht aber deutlich besser“ hinausgeht.
Machen Sie beispielsweise proaktiv PED-Auswertungen Ihrer Post-Editing-Projekte, um zu erkennen, wie brauchbar die Ergebnisse Ihrer verwendeten MT-Engine wirklich sind.
Besser noch: Lassen Sie gerade bei wenig Erfahrung mit einem MT-System zusätzlich eine Fehlerannotation durch eine*n Sprachexpert*in Ihres Vertrauens anfertigen. So sehen Sie, ob Ihre MT-Engine beispielweise Schwächen bei gewissen Satzstrukturen hat, Informationen unterschlägt oder falsche Zusammenhänge produziert.
Sollten Sie bereits Pläne für Ihr eigenes MT-System schmieden, sind diese Tipps Gold wert – aber auch für die Verwendung von kommerziell verfügbaren Systemen ist ein nachhaltiges Konzept zur Qualitätssicherung ein nicht zu unterschätzendes Mittel, um Ihre MT-Workflows zu optimieren.
Unsere Empfehlung: Wenn Sie in Ihrem Unternehmen den Schritt in Richtung MT wagen möchten oder bereits in der Planung stecken, machen Sie das Thema Qualitätssicherung zu einem zentralen Thema – damit Sie am Ende Beifall ernten und keinen Unfall verursachen!
Weitere Informationen
Mehr Informationen zum Thema Maschinelle Übersetzung finden Sie hier:
Angebot anfordern
Unsere Expert*innen helfen Ihnen gerne weiter unter+49 7031 21 70-14