Novembrī 2016, Microsoft cēla labumu AI-powered Mašīntulkošana, aka neironu Machine translation (NMT), lai izstrādātājiem un tiešajiem lietotājiem līdzīgi. viņnedēļ Microsoft cēla NMT spēja uz malas mākonis piesaistot NPU, ar AI specializētam procesoram, kas integrēts Mate 10, Huawei jaunākais vadošais telefons. Jaunā chip padara AI-powered tulkojumi pieejams uz ierīces, pat ja nav interneta piekļuves, kas ļauj sistēmai ražot tulkojumus, kuru kvalitāte ir par par ar tiešsaistes sistēmu.

Lai sasniegtu šo izrāvienu, pētniekiem un inženieriem no Microsoft un Huawei sadarbojās, pielāgojot neironu tulkojumu uz šo jauno skaitļošanas vidi.

Vismodernākās NMT sistēmas pašlaik tiek saražotas (t.i., ko uzņēmumi un lietotnes izmanto mākonī), izmanto neironu tīkla arhitektūru, apvienojot vairākus LSTM tīkli, uzmanības algoritmu un tulkojuma (dekodera) slāni.

Animācija zem izskaidro, jo vienkāršotā veidā, kā šo daudzslāņu neironu tīkla funkcijas. Lai iegūtu sīkāku informāciju, lūdzu, skatiet "kas ir mašīntulkošanas lapa"vietnē Microsoft Translator.

Šajā mākonis NMT īstenošanu, šie vidējā LSTM slāņi patērē lielu daļu no skaitļošanas jaudu. Lai varētu palaist pilnu NMT uz mobilo ierīci, bija nepieciešams atrast mehānismu, kas varētu samazināt šīs skaitļošanas izmaksas, vienlaikus saglabājot, cik vien iespējams, tulkojuma kvalitāti.

Tas ir, ja Huawei ' s neironu Processing Unit (NPU) sāk spēlēt.  Microsoft pētnieki un inženieri izmantoja NPU, kas ir īpaši būvēts, lai Excel pie zema latency AI aprēķini, lai izkrautu operācijām, kas būtu nepieņemami lēni, lai process par galveno CPU.

Īstenošanu

Ieviešana tagad ir pieejama Microsoft Translator app Huawei mate 10 optimizē tulkojumu, izkraujot visvairāk compute intensīvas uzdevumus NPU.

Konkrētāk, šī īstenošana aizstāj šos vidējos LSTM tīkla slāņus ar dziļu feed-Forward neironu tīkls. Deep barības priekšu neironu tīkli ir spēcīgi, bet prasa ļoti lielu daudzumu aprēķina sakarā ar augstu savienojamību starp neironiem.

Neironu tīkli galvenokārt balstās uz matricas multiplikācijas, darbību, kas nav sarežģīta no matemātiskā viedokļa, bet ļoti dārgi, ja veic tādā mērogā, kas nepieciešama šādu dziļu neironu tīklu. Huawei NPU izceļas, veicot šīs matricas multiplikācijas, kas masveidā paralēli veidā. Tas ir arī diezgan efektīvs no jaudas izmantošanas viedokļa, svarīga kvalitāte bateriju darbināmu ierīcēm.

Katrā slānī šo plūsmu uz priekšu tīkls, NPU aprēķina gan izejvielu neiron produkciju un pēc ReLu aktivācijas funkcija efektīvi un ar ļoti zemu latentumu. Piesaistot plašu ātrgaitas atmiņas par NPU, tā veic šos aprēķinus paralēli bez jāmaksā izmaksas par datu pārsūtīšanu (ti, palēninot sniegumu) starp CPU un NPU.

Kad pēdējais slānis šo dziļo barības uz priekšu tīkls tiek aprēķināta, sistēma ir bagāta pārstāvība avotvalodas teikums. Šis attēlojums tad baro caur kreisās uz labo LSTM "decoder", lai ražotu katru mērķa valodu vārdu, ar tādu pašu uzmanību algoritmu izmanto tiešsaistes versiju NMT.

Kā Anthony Aue, galvenais programmatūras izstrādes inženieris Microsoft Translator komandā paskaidro: "ņemot sistēmu, kas darbojas uz jaudīgu mākonis serveros datu centrā un darbojas tā nemainīgs uz mobilo tālruni nav dzīvotspējīgs variants. Mobilajām ierīcēm ir ierobežota datorlietošanas jauda, atmiņa un enerģijas lietojums, kas nav mākoņa risinājumiem. Kam ir piekļuve NPU, kopā ar kādu citu arhitektūras tweaks, ļāva mums strādāt ap daudziem no šiem ierobežojumiem un izstrādāt sistēmu, kas var darboties ātri un efektīvi uz ierīces bez kompromisu tulkošanas kvalitāti."

Šo tulkošanas modeļu ieviešana novatoriskā NPU Chipset ļāva Microsoft un Huawei piegādāt uz ierīces neironu tulkojumu kvalitāti, kas salīdzināma ar to, ka mākonis balstītas sistēmas, pat tad, ja esat pie tīkla.