- Advertisement -
首頁 標籤 推論晶片

推論晶片

- Advertisment -

AI發展歷久彌新 推論晶片商機展露

圖1 人工智慧的第三波熱潮。 資料來源:http://www.technologystories.org/ai-evolution/ 人工智慧的運用分成兩個階段,一是學習訓練階段,二是推論(或稱推算、推理)階段,此與應用程式相類似,程式開發階段即為學習訓練階段,程式正式上線執行運作則為推論階段。開發即是船艦在船塢內打造或維修,執行則為船艦出海航行作業執勤(圖2)。 圖2 人工智慧訓練與推論的差別。 資料來源:https://blogs.nvidia.com/blog/2016/08/22/difference-deep-learning-training-inference-ai/ 訓練與推論階段對運算的要求有所不同,訓練階段需要大量繁複的運算,且為了讓人工智慧模型獲得更佳的參數調整數據,運算的精準細膩度較高,而推論階段則相反,模型已經訓練完成,不再需要龐大運算量,且為了儘快獲得推論結果,允許以較低的精度運算。 例如一個貓臉辨識應用,訓練階段要先提供成千上萬張各種帶有貓臉的照片來訓練,並從中抓出各種細膩辨識特點,但真正設置在前端負責辨識來者是否為貓的推論運算,只是辨識單張臉,運算量小,且可能已簡化特徵,只要簡單快速運算即可得到結果(是貓或不是)。 推論專用晶片需求顯現 對於人工智慧的訓練、推論運算,近年來已普遍使用CPU之外的晶片來加速,例如GPGPU、FPGA、ASIC等,特別是GPGPU為多,原因在於GPGPU的高階軟體生態較為完備、可支援多種人工智慧框架(Framework),相對的FPGA需要熟悉低階硬體電路者方能開發,而ASIC通常只針對限定的軟體或框架最佳化(表1)。雖然FPGA與ASIC較有難度與限制,但仍有科技大廠願意投入,如Microsoft即主張用FPGA執行人工智慧運算,Google則針對TensorFlow人工智慧框架開發ASIC,即Cloud TPU晶片。 人工智慧模型的開發(訓練)與執行(推論)過往多使用同一晶片,用該晶片執行訓練運算後也用該晶片執行推論運算。但近1、2年來隨著訓練成果逐漸增多,成熟的人工智慧模型逐漸普及,以相同晶片負責推論運算的缺點逐漸浮現。以GPGPU而言,晶片內具備大量的平行運算單元是針對遊戲繪圖、專業繪圖或高效能運算而設計,可運算32、64位元浮點數,這在人工智慧模型訓練階段亦適用,但到推論階段,可能只需16位元浮點、16位元整數、8位元整數等運算即可求出推論結果,甚至是4位元整數便足夠。如此過往的高精度大量平行運算單元便大材小用,電路與功耗均有所浪費,所以需要人工智慧的推論專用處理晶片。 半導體廠紛發展推論晶片 推論晶片的需求在人工智慧重新倡議後的2年開始浮現,但在此之前已有若干產品,如2014年Google對外揭露的探戈專案(Project Tango)即使用Movidius公司的Myriad晶片(圖3)。 圖3 Intel Movidius Myriad X晶片 資料來源:Intel Movidius之後於2016年推出Myriad 2晶片,同樣也在2016年,Intel購併Movidius取得Myriad 1/2系列晶片,並接續推出Myriad X晶片。Google除探戈專案外其他硬體也採用Intel/Movidius晶片,如2017年的Google Clips人工智慧攝影機、2018年Google AIY Vision人工智慧視覺應用開發套件等。 不過真正受業界矚目的仍在2018年,包含NVIDIA推出T4晶片(嚴格而論是已帶晶片的加速介面卡)(圖4)、Google推出Edge TPU晶片(圖5),以及Amazon Web Services在2018年11月宣告將在2019年推出Inferentia晶片,均為推論型晶片。 圖4 NVIDIA展示T4介面卡 資料來源:NVIDIA 圖5 Google Edge TPU小於一美分銅板。 圖片來源:Google 另外,臉書(Facebook)也已經意識到各形各色的推論型晶片將會在未來幾年內紛紛出籠,為了避免硬體的多元分歧使軟體支援困難,因此提出Glow編譯器構想,期望各人工智慧晶片商能一致支援該編譯標準,目前Intel、Cadence、Marvell、Qualcomm、Esperanto Technologies(人工智慧晶片新創業者)均表態支持。 與此同時,臉書也坦承開發自有人工智慧晶片中,並且將與Intel技術合作;目前臉書技術高層已經表示其晶片與Google TPU不相同,但是無法透露更多相關的技術細節。而Intel除了在2016年購併Movidius之外,在同一年也購併了另一家人工智慧技術業者Nervana System,Intel也將以Nervana的技術發展推論晶片。 推論晶片不單大廠受吸引投入新創業者也一樣積極,Habana Labs在2018年9月對特定客戶提供其推論晶片HL-1000的工程樣品,後續將以該晶片為基礎產製PCIe介面的推論加速卡,代號Goya。Habana Labs宣稱HL-1000是目前業界最快速的推論晶片(圖6)。 圖6 Habana Labs除推出HL-1000推論晶片Goya外也推出訓練晶片Gaudi。 資料來源:https://www.convergedigest.com/2018/09/interview-habana-labs-targets-ai.html 雲端機房/快速反應 推論晶片可分兩種取向 透過前述可了解諸多業者均已投入發展推論晶片,然嚴格而論推論晶片可分成兩種取向,一是追求更佳的雲端機房效率,另一是更快速即時反應。前者是將推論晶片安置於雲端機房,以全職專精方式執行推論運算,與訓練、推論雙用型的晶片相比,更省機房空間、電能與成本,如NVIDIA T4。 後者則是將推論晶片設置於現場,例如配置於物聯網閘道器、門禁攝影機內、車用電腦上,進行即時的影像物件辨識,如Intel...
0
- Advertisement -
- Advertisement -

最新文章

- Advertisement -

熱門文章

- Advertisement -

編輯推薦

- Advertisement -