Anand Chakravarty jest SDET w zespole tłumaczenia maszynowego w ciągu ostatnich 2,5 lat, został w Microsoft od 8 lat, i był pierwszym testerem produktu w zespole MT (i "jeszcze zabawy z testowania MT:-)").  Dzisiejszy blog Gości jest o testowanie jakości tłumaczenia. 

—————————————————————————————————————

Jednym z pierwszych punktów, które przychodzi do głowy, mówiąc o sprawdzeniu jakości systemu tłumaczeniowego, jest jak zmierzyć jakość, lub być precyzyjne, dokładność tłumaczenia? Tłumaczenie między językami ludzkimi za pomocą komputerów jest polem, które jest prawie pół wieku stary. Obszar ten jest wystarczająco trudne, że nawet najlepsze obecnie dostępne systemy tłumaczenia maszynowego nie są zbliżone do uzyskania jakości językowej, które byłyby całkowicie zadowalające.

Częścią wyzwania jest wiele różnych punktów danych, które ludzie przetwarzają w celu zrozumienia znaczenia tekstu mówionego/pisanego. Nie ma składni, analizy, semantyki, kontekst, ujednoznacznienie, zmiana kolejności, z których wszystkie i więcej, przejdź do zrozumienia zdania. I to jest tylko zdanie w 1 języku. Teraz rozważ zastosowanie jej wszystkich, aby odbudować zdanie w innym języku i uczynić go równie zrozumiały.

Niektóre przykłady mogą pomóc uczynić ten punkt jaśniejsze. Termin "Olimpiada 2008" jest dość jednoznaczny. Podobnie można oczekiwać, że termin "Wybory 2008" oznacza wybory prezydenckie w USA. Jednak, jeśli użytkownik jest z, powiedzmy, Kanada, to bardziej prawdopodobne, odnoszą się do lokalnych wyborów tam.

Bardziej ogólne, a tym samym bardziej powszechne, przykład jest zdania, jak "notatka była błędna". Czy słowo "Uwaga" jest odniesieniem do wiadomości informacyjnej lub terminu muzycznego? Właściwe tłumaczenie zależy od kontekstu. Użyj więcej kontekstu, a Twoje szanse na uzyskanie dokładniejszego tłumaczenia poprawić. To jednak jest kosztem: im więcej kontekstu system próbuje uzyskać, tym wolniej jego wydajność. Inteligentne decyzje dotyczące wysyłki polegają na zapewnieniu właściwej równowagi między poprawą dokładności tłumaczeń a dostarczaniem użytkownikom wykonalnego tłumaczenia. Oczywiście, oba są ważne. Kluczem jest zrozumienie, gdzie bezpośrednie wysiłki na rzecz poprawy w zależności od tego, jak użyteczne końcowy wynik jest dla użytkownika.

Staje się to szczególnie interesujące podczas tłumaczenia dokumentów lub stron internetowych, a nie tylko pojedynczych zdań. Załóżmy, że otrzymano prośbę o tłumaczenie na stronę internetową zawierającą 100 zdań. W zależności od architektury systemu tłumaczeniowego, zdania te mogą przejść do jednego procesu lub być rozpowszechniane w wielu procesach/maszynach. Tak czy inaczej, jest oczywiste, że czas przetłumaczenia tej strony w całości jest proporcjonalny do maksymalnego czasu przetłumaczenia zdania. Jak długo spędzamy tłumaczenia zdanie przed tym zainwestowanego czasu staje się szkodliwe dla czasu użytkownika? W dążeniu do najlepszego tłumaczenia, możemy skończyć się blokowanie użytkownika z coraz coś pouczające w odpowiedzi na ich żądanie tłumaczenia. Użyteczność systemu jest zatem regulowana decyzjami, które są podejmowane w celu zrównoważenia jakości językowej i wydajności aplikacji.

Dzięki produktowi Microsoft Translator istnieje dodatkowa cecha naszej Bilingual Viewer, coś wyjątkowego wśród publicznie dostępnych produktów tłumaczeniowych. Obsługuje równoległe podświetlanie tekstu, zsynchronizowane przewijanie i prezentuje strony (y) z progresywnym renderowaniem. To dodaje kolejną warstwę do tego, co widzą nasi użytkownicy, a w konsekwencji kolejną warstwę do polerować i kończyć.

W najbliższych tygodniach, mamy nadzieję, że przyniesie Ci więcej szczegółów na temat konkretnych obszarów, które były i są testowane na statek najwyższej jakości system tłumaczeń. Zapraszam do zamieszczania jakichkolwiek pytań, które masz w tej sprawie, coś, co zawsze chciałeś zapytać:-), w sekcji komentarzy.