1. 歡迎光臨 : 北京品立科技有限責(zé)任公司服務(wù)熱線 :+86-400-127-3302
          語(yǔ)言選擇: 中文版 ∷  英文版

          新聞中心

          如何突破Decoder性能瓶頸?英偉達(dá)專(zhuān)家揭秘

          自從 “Attention is All You Need” 在2017年提出以來(lái),Transformer已成為 NLP 領(lǐng)域中非常熱門(mén)的深度學(xué)習(xí)網(wǎng)絡(luò)架構(gòu)。但是在推理部署階段,其計(jì)算性能往往難以滿足在線業(yè)務(wù)對(duì)于低延遲和高吞吐的要求。

          在英偉達(dá)開(kāi)源的FasterTransformer 1.0版本中,針對(duì)BERT中的 Transformer Encoder進(jìn)行了優(yōu)化和加速,經(jīng)過(guò)高度優(yōu)化之后,降低了用戶(hù)使用transformer編碼的時(shí)延。

          在解決了Encoder性能問(wèn)題之后,英偉達(dá)將重點(diǎn)放到了同樣重要的Transformer Decoder推理上。

          因此,英偉達(dá)推出了FasterTransformer 2.0版本,提供針對(duì)解碼器進(jìn)行高度優(yōu)化的transformer layer。同時(shí),還提供了優(yōu)化過(guò)后的整個(gè)翻譯流程,滿足想要在翻譯場(chǎng)景中大幅降低時(shí)延的用戶(hù)們。

          国产Av无码专区,亚洲AV,亚洲AV秘 无码一区二区三竹菊,亚洲伊人成无码综合网,欧洲乱码伦视频免费