Pada bulan November 2016, Microsoft membawa keuntungan dari AI-powered terjemahan mesin, alias mesin Neural Translation (NMT), untuk pengembang dan pengguna akhir sama. Minggu lalu Microsoft membawa kemampuan NMT ke tepi awan dengan memanfaatkan NPU, prosesor khusus AI yang terintegrasi ke dalam Pasangan 10, Telepon andalan Huawei terbaru. Chip baru yang membuat AI-powered terjemahan tersedia pada perangkat bahkan tanpa adanya akses internet, memungkinkan sistem untuk menghasilkan terjemahan yang kualitasnya setara dengan sistem online.

Untuk mencapai terobosan ini, para peneliti dan insinyur dari Microsoft dan Huawei berkolaborasi dalam mengadaptasi terjemahan saraf ke lingkungan komputasi baru ini.

Sistem NMT yang paling canggih saat ini dalam produksi (yaitu, yang digunakan dalam skala di awan oleh bisnis dan aplikasi) menggunakan arsitektur jaringan saraf yang menggabungkan beberapa lapisan Jaringan LSTM, algoritma perhatian, dan lapisan terjemahan (decoder).

Animasi di bawah ini menjelaskan, dengan cara yang disederhanakan, bagaimana fungsi jaringan saraf multi-layer ini. Untuk lebih jelasnya, silakan merujuk ke "apa yang dimaksud dengan halaman terjemahan mesin"di situs Microsoft Translator.

Dalam implementasi NMT awan ini, lapisan LSTM tengah ini mengonsumsi sebagian besar daya komputasi. Untuk dapat menjalankan NMT penuh pada perangkat mobile, itu perlu untuk menemukan sebuah mekanisme yang dapat mengurangi biaya komputasi ini sambil menjaga, sebanyak mungkin, kualitas terjemahan.

Di sinilah Neural processing unit Huawei (NPU) datang ke dalam bermain.  Microsoft peneliti dan insinyur mengambil keuntungan dari NPU, yang secara khusus direkayasa untuk unggul pada latensi rendah AI perhitungan, untuk offload operasi yang akan menjadi lambat tidak dapat diterima untuk memproses pada CPU utama.

Implementasi

Implementasi sekarang tersedia di aplikasi Microsoft Translator untuk Huawei Mate 10 mengoptimalkan terjemahan dengan pembongkaran tugas yang paling intensif komputasi ke NPU.

Khususnya, implementasi ini menggantikan layer jaringan LSTM tengah ini dengan f dalamjaringan saraf EED-maju. Deep pakan-maju jaringan saraf yang kuat tetapi membutuhkan jumlah yang sangat besar dari komputasi karena konektivitas yang tinggi di antara neuron.

Jaringan Neural terutama bergantung pada perkalian matriks, operasi yang tidak kompleks dari sudut pandang matematika tapi sangat mahal bila dilakukan pada skala yang diperlukan untuk jaringan saraf yang mendalam. Huawei NPU unggul dalam melakukan perkalian matriks ini secara besar-besaran paralel. Hal ini juga cukup efisien dari segi pemanfaatan daya, kualitas yang penting pada perangkat bertenaga baterai.

Pada setiap lapisan ini feed-maju jaringan, NPU menghitung kedua neuron baku output dan berikutnya ReLu fungsi aktivasi secara efisien dan dengan latensi yang sangat rendah. Dengan memanfaatkan memori kecepatan tinggi yang cukup pada NPU, ia melakukan perhitungan ini secara paralel tanpa harus membayar biaya untuk transfer data (yaitu, memperlambat kinerja) antara CPU dan NPU.

Setelah lapisan akhir ini Deep feed-forward jaringan dihitung, sistem memiliki representasi yang kaya dari kalimat sumber bahasa. Representasi ini kemudian diberi makan melalui kiri-ke-kanan LSTM "decoder" untuk menghasilkan setiap kata bahasa target, dengan algoritma perhatian yang sama digunakan dalam versi online dari NMT.

Sebagai Oleh Michael Aue, insinyur pengembangan perangkat lunak utama dalam tim penerjemah Microsoft menjelaskan: "mengambil sistem yang berjalan pada server awan yang kuat di pusat data dan menjalankannya tidak berubah pada ponsel bukanlah pilihan yang layak. Perangkat seluler memiliki keterbatasan dalam daya komputasi, memori, dan penggunaan daya yang tidak dimiliki oleh solusi awan. Memiliki akses ke NPU, bersama dengan beberapa tweak arsitektur lainnya, memungkinkan kami untuk bekerja di sekitar banyak keterbatasan ini dan untuk merancang sebuah sistem yang dapat berjalan dengan cepat dan efisien pada perangkat tanpa harus kompromi kualitas terjemahan."

Pelaksanaan model terjemahan ini pada chipset NPU inovatif memungkinkan Microsoft dan Huawei untuk memberikan pada perangkat terjemahan saraf pada kualitas yang sebanding dengan sistem berbasis awan bahkan ketika Anda berada di luar grid.