La façon la plus populaire de trouver une traduction pour une phrase source avec un modèle neuronal de séquence à séquence est une recherche de faisceau simple. La phrase cible est prédite un mot à la fois et après chaque prédiction, un nombre fixe de possibilités (généralement entre 4 et 10) est conservé pour une exploration plus approfondie. Cette stratégie peut être sous-optimale car ces décisions locales difficiles ne prennent pas le reste de la traduction en compte et ne peuvent pas être rétablies plus tard.

Dans cet article, les auteurs proposent de s'attaquer à ce problème en gardant une seule pile d'hypothèses partielles avec différentes longueurs actives. Si une décision précédente se révèle sous-optimale quelques mots plus tard, il est désormais possible de la réexaminer. Pour la détermination, les auteurs utilisent un petit réseau neuronal supplémentaire pour prédire la longueur de la phrase attendue, pour chaque phrase source et chaque traduction partielle. Si les deux diffèrent significativement, on considère que c'est un indicateur qu'une décision précédente doit être réexaminée.

Article : Single-Queue Decoding for Neural Machine Translation
Auteurs : Raphael Shu, Hideki Nakayama
Lieu : Université de Tokyo