L'industrie des services linguistiques offre un tableau intimidant d'options de traduction automatique. Pour vous aider à séparer la véritable innovation de la médiocrité, vos amis chez Lilt ont entrepris de fournir des évaluations reproductibles et impartiales de ces options en utilisant des ensembles de données publiques et une méthodologie rigoureuse.

Cette évaluation est destinée à évaluer la traduction automatique non seulement en termes de qualité de la traduction de référence, mais également en ce qui concerne la qualité des systèmes adaptés au domaine là où ils sont disponibles. L'adaptation de domaine et les réseaux neuronaux sont les deux développements récents les plus passionnants en traduction automatique disponible dans le commerce. Nous évaluons l'impact relatif de ces deux technologies pour les systèmes commerciaux suivants :

• l'API basée sur des phrases de Google
• Google neuronal (GNMT)
• l'API de traducteur de Microsoft / Microsoft adapté
• la traduction automatique « Pure Neural » de Systran
• le système « AdaptiveMT » de SDL
• SDL adapté

Nous incluons également trois résultats de nos propres systèmes :

• Lilt : traductions de Lilt avant que toute mémoire de traduction soit téléchargée ou que le système soit utilisé.
• Lilt adapté : traductions de Lilt en utilisant une mémoire de traduction pertinente pour l'adaptation du domaine.
• Lilt interactive : traductions de Lilt en utilisant une mémoire de traduction pertinente pour l'adaptation du domaine et les traductions corrigées pour chaque segment confirmé.

La qualité de la traduction est mesurée en utilisant la mesure BLEU, la mesure d'évaluation la plus courante dans la recherche de traduction automatique, qui mesure la similitude entre les traductions proposées et les traductions de référence. Les chiffres plus élevés correspondent à de meilleures traductions. 

Notre évaluation sur plus de 1000 segments, choisis avec soin pour être représentatifs du travail de traduction professionnelle, montre clairement que les nouvelles technologies de la traduction neuronale et adaptative ne sont pas seulement stylés, mais fournissent des améliorations substantielles en termes de qualité de la traduction automatique. 

Pour voir l'évaluation complète, plus de détails sur chaque système en question, et plus sur la façon d'interpréter les résultats, cliquez sur le bouton ci-dessous pour accéder au rapport complet.