Les systèmes de traduction automatique neuronale génèrent des traductions un mot à la fois. Ils peuvent toujours générer des traductions fluides car ils choisissent chaque mot en fonction de tous les mots générés jusqu'à présent. Généralement, ces systèmes sont simplement formés pour générer le mot suivant correctement, en fonction de tous les mots précédents. Un problème systématique avec cette approche mot par mot de la formation et de la traduction est que les traductions sont souvent trop courtes et omettent le contenu important.

Dans l'article Neural Machine Translation with Reconstruction, les auteurs décrivent une nouvelle façon intelligente de former et de traduire. Pendant la formation, leur système est encouragé non seulement à générer chaque mot suivant correctement mais également à générer correctement la phrase source d'origine en fonction de la traduction qui a été générée. De cette manière, le modèle est récompensé pour générer une traduction qui est suffisante pour décrire tout le contenu de la source d'origine.

Lors de la traduction, leur système génère plusieurs alternatives et choisit la traduction finale de sorte que deux conditions soient remplies simultanément : la traduction est prévisible compte tenu de la source et la source est prévisible compte tenu de la traduction. Assurer cette cohérence bidirectionnelle offre un avantage substantiel en termes de qualité de traduction. Durant leurs expériences, les longueurs de traduction étaient plus similaires aux longueurs de référence humaine, et le système était moins enclin à générer trop ou pas assez de contenu par rapport à une base de référence de traduction automatique neuronale forte.

Une synthèse plus technique de cet article, lors de sa parution originale, a été fourni par Denny Britz, et le premier auteur Zhaopeng Tu a répondu à ces retours.

Article : Neural Machine Translation with Reconstruction (La traduction automatique neuronale avec reconstruction)

Auteurs : Zhaopeng Tu, Yang Liu, Lifeng Shang, Xiaohua Liu, et Hang Li

Lieu : Association pour l'avancement de l'intelligence artificielle (AAAI) 2017