През ноември 2016, Microsoft донесе предимството на AI-задвижвани машинен превод, известен още като невронни машина Превод (NMT), за разработчиците и крайните потребители, така. Миналата седмица Microsoft донесе възможност NMT на ръба на облака чрез привличане на НПУ, посветен на ии процесор, интегриран в На вашия партньор 10, Най-новият водещ телефон на Huawei. Новият чип прави превод AI-задвижвани на разположение на устройството, дори и при липса на достъп до интернет, което позволява на системата да произвежда преводи, чието качество е наравно с онлайн системата.

За да се постигне този пробив, изследователи и инженери от Microsoft и Huawei сътрудничиха в приспособяването на невронния превод към тази нова изчислителна среда.

Най-напредналите NMT системи в момента в производството (т. е., използвани в мащаб в облака от фирми и приложения) използват невронна мрежа архитектура комбиниране на множество слоеве на LSTM мрежи, алгоритъм за внимание, и превод (декодер) слой.

Анимацията по-долу обяснява, по опростен начин, как тази мулти-слой невронни мрежови функции. За повече подробности, моля, вижте "Какво представлява страницата за машинен превод"на сайта на Microsoft преводач.

В този облак NMT изпълнение тези средни LSTM слоеве консумират голяма част от изчислителна мощ. За да можете да изпълнявате Full NMT на мобилно устройство, е необходимо да намерите механизъм, който може да намали тези изчислителни разходи, като същевременно съхрани, доколкото е възможно, качеството на превода.

Това е мястото, където се появява на Huawei невронната обработка единица (NPU).  Изследователи и инженери на Microsoft се възползваха от NPU, който е специално проектиран да се Excel в ниска латентност AI изчисления, да разтовари операции, които биха били неприемливо бавен за обработка на основния процесор.

Прилагането

Внедряването вече е налично в приложението "Преводач" на Microsoft за Huawei Mate 10 оптимизира превода чрез разтоварване на най-трудоемките задачи на NPU.

По-конкретно, това прилагане замества тези слоеве на средните мрежи LSTM с дълбокна нужда-напред невронна мрежа. Deep фураж напред невронни мрежи са мощни, но изискват много големи количества на изчисление поради високата свързаност между невроните.

Невронните мрежи разчитат основно на матрични мултимножения, операция, която не е сложна от математическа гледна точка, но много скъпо, когато се извършва в скалата, необходима за такава дълбока невронна мрежа. Huawei NPU превъзхожда тези матрични мултимножения в масивна паралелна мода. Също така е доста ефективно от гледна точка на използване на енергия, важно качество на акумулаторните устройства.

На всеки слой от тази мрежа за подаване на канали, NPU изчислява както суровия неврон изход, така и последващия Функция за активация ReLu ефективно и с много ниска латентност. Чрез привличане на достатъчно висока скорост на паметта на NPU, тя извършва тези изчисления успоредно без да се налага да плащат разходите за трансфер на данни (т. е., забавяне на производителността) между ПРОЦЕСОРА и NPU.

След като се изчисли Окончателният слой на тази дълбока мрежа за подаване на канали, системата има богато представяне на изречението на изходния език. След това представителството се подава през отляво надясно LSTM "декодер", за да произведе всяка дума на целевия език, със същия алгоритъм за внимание, използван в онлайн версия на NMT.

Като Антъни Ауе, главен инженер по софтуерно развитие в екипа на Microsoft преводач обяснява: "като система, която работи на мощни облачни сървъри в центъра за данни и го изпълнява непроменен на мобилен телефон не е жизнеспособна опция. Мобилните устройства имат ограничения в изчислителна мощност, памет и използване на енергия, които не разполагат с облачни решения. Като достъп до NPU, заедно с някои други архитектурни ощипвания, ни позволи да се работи около много от тези ограничения и да се изработи система, която може да работи бързо и ефективно на устройство, без да се налага да се компрометира качеството на превода."

Прилагането на тези модели за превод на иновативен чипсет NPU позволи на Microsoft и Huawei да достави на устройство невронни превод в качество, сравнимо с това на облак-базирани системи, дори когато сте извън мрежата.