Anand Cavalcanti é um SDET na equipe de tradução automática para os últimos 2,5 anos, tem sido na Microsoft há 8 anos, e foi o primeiro testador de produto na equipe de MT (e "ainda se divertindo com o teste MT:-)").  Blog de hoje convidado é sobre a qualidade da tradução de teste. 

—————————————————————————————————————

Um dos primeiros pontos que vem à mente, ao falar sobre a verificação da qualidade de um sistema de tradução, é como você mede a qualidade, ou para ser preciso, a precisão da tradução? Traduzir entre línguas humanas usando computadores é um campo que é quase meio século de idade. A área é desafiadora o suficiente para que mesmo os melhores sistemas de tradução de máquinas atualmente disponíveis não estão perto de obter qualidade linguística que seria totalmente satisfatória.

Parte do desafio são os muitos diferentes pontos de dados que os seres humanos processam, a fim de compreender o significado do texto falado/escrito. Há a sintaxe, a análise, a semântica, o contexto, a desambiguação, a reordenação, todos os quais, e mais, ir para a compreensão de uma sentença. E esta é apenas a frase em 1 língua. Agora considere a aplicação de tudo isso para reconstruir a sentença em outro idioma e torná-lo igualmente significativo.

Alguns exemplos podem ajudar a tornar este ponto mais claro. O termo "Olimpíadas 2008" é bastante inequívoco. Da mesma forma, pode-se esperar o termo "eleições 2008" para significar as eleições presidenciais nos EUA. No entanto, se o usuário é de, digamos, Canadá, seria mais provável referir-se às eleições locais lá.

Um exemplo mais geral e, portanto, mais comum, é uma frase como "a nota estava errada". É a palavra "nota" uma referência a uma mensagem informativa ou a um termo musical? A tradução adequada depende do contexto. Use mais contexto, e suas chances de obter uma tradução mais precisa melhorar. Isto entretanto vem em um custo: mais contexto o sistema tenta obter, mais lento seu desempenho. Decisões de envio inteligentes envolvem fazer o equilíbrio certo entre melhorar a precisão da tradução e entregar um resultado de tradução viável para os usuários. Claro, ambos são importantes. A chave é compreender onde você dirige esforços na melhoria dependendo de como útil o resultado final é ao usuário.

Isso se torna particularmente interessante ao traduzir documentos ou páginas da Web, em vez de apenas frases individuais. Digamos que uma solicitação de tradução foi recebida para uma página da Web contendo 100 frases. Dependendo da arquitetura do sistema de tradução, essas frases podem ir para um processo ou ser distribuídas em vários processos/máquinas. De qualquer forma, é claro que o tempo para traduzir esta página em sua totalidade é proporcional ao tempo máximo tomado para traduzir uma sentença. Quanto tempo nós gastamos traduzindo uma sentença antes que o tempo investido se torne prejudicial ao tempo do usuário? Em busca da melhor tradução, podemos acabar bloqueando o usuário de obter qualquer coisa informativa em resposta ao seu pedido de tradução. A utilidade do sistema é governada assim pelas decisões que são feitas para balançar a qualidade lingüística e o desempenho da aplicação.

Com o produto Microsoft Translator, há o recurso adicional do nosso visualizador bilíngüe, algo único entre os produtos de tradução publicamente disponíveis. Ele suporta o realce de texto paralelo, rolagem sincronizada e apresenta a página (s) com renderização progressiva. Isso adiciona outra camada para o que nossos usuários veem e, consequentemente, outra camada para polir e terminar.

Nas próximas semanas, esperamos trazer-lhe mais detalhes de áreas específicas que foram e estão sendo testados para enviar um sistema de tradução de alta qualidade. Sinta-se livre para postar todas as perguntas que você tem sobre este assunto, algo que você sempre quis perguntar:-), na seção de comentários.