Neuronale MT-Systeme generieren Übersetzungen Wort für Wort. Sie können trotzdem flüssige Übersetzungen generieren, weil sie jedes Wort basierend auf allen bisher generierten Wörtern auswählen. In der Regel werden diese Systeme nur trainiert, das nächste Wort korrekt zu generieren, und zwar basierend auf allen vorherigen Wörtern. Ein systemisches Problem bei diesem Wort-für-Wort-Ansatz für Training und Übersetzung ist, dass Übersetzungen oft zu kurz sind und wichtige Inhalte auslassen.

In der Publikation Neural Machine Translation with Reconstruction (Neuronale maschinelle Übersetzung with Rekonstruktion) beschreiben die Autoren eine intelligente neue Training- und Übersetzungsmethode. Beim Training wird ihr System nicht nur dazu ermutigt, jedes nächste Wort korrekt zu generieren, sondern auch, den Originalausgangssatz basierend auf der generierten Übersetzung korrekt zu generieren. Auf diese Weise wird das Modell für die Generierung einer Übersetzung belohnt, die ausreicht, um den gesamten Inhalt des Originals zu beschreiben.

Beim Übersetzen generiert ihr System mehrere Alternativen und wählt die endgültige Übersetzung so aus, dass zwei Bedingungen gleichzeitig erfüllt werden: Die Übersetzung ist in Bezug auf die Quelle vorhersehbar und die Quelle ist in Bezug auf die Übersetzung vorhersehbar. Die Sicherstellung dieser Zwei-Wege-Kohärenz bietet einen beträchtlichen Vorteil hinsichtlich der Übersetzungsqualität. Bei ihren Experimenten waren die Übersetzungslängen denen der menschlichen Referenzlängen ähnlicher und das System war weniger anfällig, im Vergleich zu einer starken neuronalen MT-Baseline zu viel oder zu wenig Inhalt zu generieren.

Eine eher technischere Zusammenfassung dieser Publikation nach ihrer Originalveröffentlichung stellte Denny Britz bereit, und der erste Autor Zhaopeng Tu antwortete auf diese Kommentare.

Publikation: Neural Machine Translation with Reconstruction

Autoren: Zhaopeng Tu, Yang Liu, Lifeng Shang, Xiaohua Liu und Hang Li

Ort: Association for the Advancement of Artificial Intelligence (AAAI) 2017