Die beliebteste Methode, eine Übersetzung für einen Ausgangssatz mithilfe eines neuronalen Sequenz-für-Sequenz-Modells zu finden, ist eine einfache Strahlsuche. Der Zielsatz wird Wort für Wort vorhergesagt und nach jeder Vorhersage wird eine feste Anzahl von Möglichkeiten (in der Regel zwischen 4 und 10) für die weitere Exploration beibehalten. Diese Strategie kann suboptimal sein, da diese lokal harten Entscheidungen den Rest der Übersetzung nicht berücksichtigen und später nicht rückgängig gemacht werden können.
In dieser Publikation schlagen die Autoren vor, dieses Problem dadurch anzugehen, dass ein einzelner Stack von Teilhypothesen mit unterschiedlichen Längen beibehalten wird. Erweist sich eine frühere Entscheidung einige Wörter später als suboptimal, ist es jetzt möglich, dazu zurückzukehren. Für diese Bestimmung verwenden die Autoren ein zusätzliches winziges neuronales Netzwerk, um die erwartete Satzlänge für jeden Ausgangssatz und jede Teilübersetzung vorherzusagen. Wenn die beiden deutlich voneinander abweichen, gilt dies als Indikator, dass eine frühere Entscheidung erneut unter die Lupe genommen werden sollte.
Publikation: Single-Queue Decoding for Neural Machine Translation
Authoren: Raphael Shu, Hideki Nakayama
Ort: Universität Tokio