GPGPU
安提邊緣智慧系統滿足5G聯網需求
AI解決方案已經廣泛的應用在各產業之中,且AI的運算核心也逐漸從雲端轉移至邊緣端,邊緣運算在企業智慧化服務中占有一席之地。為了發展更多的應用方案,GPGPU和智慧邊緣運算解決方案供應商安提國際發表AN810-XNX邊緣運算平台,結合NVIDIA Jetson Xavier NX 運算模組和AN810載板,提升AI運算效能。此邊緣運算平台擁有多元的I/O插槽選擇,可擴展各產業邊緣端的人工智慧應用,如全自動機器人設備、無人機、工業檢測、醫療影像與深度學習。
AN810-XNX邊緣運算平台結合NVIDIA Jetson Xavier NX 運算模組和AN810載板
安提國際總經理羅智榮表示,AIoT的應用環境十分多元且複雜,綜觀各類型邊緣系統,以GPU為基礎的平台擁有極高的相容性,可彈性應用於各領域。此外,羅智榮也提到,微軟的Azure服務也能進一步強化系統功能。AN810-XNX不論在載板設計、本身運算條件下,皆有高度的相容性,同時,從邊緣到雲端、乃至裝置管理的加值服務,都讓其十分適合應用在各類型AI領域,尤其在如機器人、無人機、工業IoT、醫療與深度學習等嵌入式的邊緣裝置。
AN810-XNX結合NVIDIA Jetson Xavier NX運算模組與安提載板AN810,Nano-ITX尺寸載板同時支援M.2 M-key、E-key和B-key等插槽,提供多樣訊號源如PCIe、SATA、USB 3.2 Gen2和USB 2.0等,並搭配高度47.3mm的專用風扇。此平台擁有良好的通訊功能特色,加上物聯網產業對5G應用的需求,可與4G/5G模組整合,提供高速無線通訊連接與資料傳輸。針對大量的邊緣裝置管理,AN810-XNX可透過M.2插槽支援Innodisk InnoAGE SSD頻外管理模組,透過客製化的雲端管理平台,統一管理與遠端監控邊緣裝置,在系統關閉或損壞時即時修復,縮短設備當機的時間,增強遠端管理的穩固性,完善邊緣裝置整體的管理模式。而平台也通過微軟Azure IoT認證,讓應用藉由安提平台,透過Azure雲端服務,縮短研發期程、迅速落地。
此外,面對大量的視覺AI應用,此平台支援一組120-pin MIPI CSI-II介面的接口,在廣泛的智慧視覺應用中,平台能夠驅動多功能的AI解決方案,同時處理高解析度相機與影像分析所要求的高密集人工智慧運算量。後援部分,安提國際提供系統加值服務,針對標準品及客製品項皆有定期的BSP及DTB架構更新。
安提國際攜手SmartCow 打造AI防疫醫療協助系統
醫療體系的基礎源自於人類的文明發展,而每個創新的醫療研究,無不在展現自體的價值與延續文明持續與擴展的力量。當世界各地正承載著COVID-19疫情的影響,人工智慧解決方案開發者也正在找尋醫療的協助系統,以維持公共衛生體系的健全。GPGPU和AI邊緣運算解決方案供應商安提國際與AI解決方案開發者SmartCow共同打造醫療協助系統Edgar,在邊緣運算平台建立六種AI模組。
做為以人工智慧打造的醫療保健助理,Edgar基於安提國際AN110-NAO平台而生,發展成專屬於工作環境安全、病患關懷的系統。在公共領域中,AI的應用以原生的設備為基礎而生,其一以一體機的方式呈現、其二則是加裝額外的機器,不論何種都需要更精確、妥善的利用配置空間,而AN110-NAO的尺寸只有87.4x67.4x46 mm(搭配風扇),精巧的大小讓其在部署上有更彈性的空間。多元I/O的支援則是打造系統一體機的重要後盾。AN110-NAO已配備完善且多數常見的I/O,其中包含I2S插槽,可以支援音效擴充,恰符合Edgar應用環境上的需求—警示音放送。此外,在視覺人工智慧應用中,相機的支援是完備應用的核心,安提國際的平台支援MIPI CSI-II介面的1x 4k相機或是2x FHD相機,為Edgar提供高解析度相機,精緻的影像帶來最正確的現實場景辨識。
Edgar支援六種人工智慧模組,包含社交距離量測、口罩辨識及安全打噴嚏動作分類等。藉由不同的AI模組,Edgar在醫療緊急時刻,打造安全環境,協助前線醫療人員防範呼吸道疾病。而其中Edgar能夠廣泛使用的應用—口罩辨識;可以輕易地部署於應用環境的出入口,透過人工智慧辨識進入者有無配戴口罩,並針對個別結果提供方向指示與不安全提醒。這樣的口罩辨識軟體可以辨識PPE、N95或是外科用口罩。另外,Edgar的社交距離辨識,也特別為公共場所應用所打造,可以結合公部門網路使用,在兩個人之間維持至少6英寸(約1.8公尺)的距離。
在資訊爆炸的時代,資訊安全與隱私是首要關切之處,也是人工智慧發展過程中,亟需被重視的一環。而Edgar通過一般資料保護規定(General Data Protection Regulation, GDPR)認證,凡Edgar所擷取之影像資料,皆僅會應用於邊緣端之系統,不會上傳雲端流通。Edgar完善考量社會需求,並可以隨時上線提供醫療協助。安提國際Jetson系列平台服務範圍廣泛,經驗豐富的技術建議與邊緣端人工智慧生態圈的支持,提供AI發展的絕佳途徑。
安提整合宜鼎SSD 提升AI邊緣運算便利性
在邊緣裝置成為產業應用上主流的現在,完善的管理更是重要。GPGPU與邊緣運算解決方案供應商安提國際發表其Jetson邊緣運算平台成功整合宜鼎國際頻外管理InnoAGE SSD解決方案。安提國際Jetson平台與宜鼎國際InnoAGE固態硬碟可以達到遠端執行頻外管理邊緣裝置的目標,這樣不僅可以減少大量的邊緣設備人力維修成本,還可以大幅度降低設備當機的時間,讓整體的邊緣系統應用變得更加便利。
安提國際於Embedded World 2020在德國紐倫堡展示這套整合Jetson平台與InnoAGE固態硬碟的動態展品,展品示範當邊緣裝置有所毀損或關機時,可透過遠端頻外管理,不必親臨現場即可喚醒裝置,如此一來,不僅能夠輕鬆重置裝置,也可以降低各項維修的資源。安提國際Jetson 邊緣運算平台的特色在於小型化、低功耗等,適用於嵌入式的邊緣裝置使用。為維護大量的邊緣裝置,當突發狀況發生時,內頻管理可能受限於無可預料的問題;內頻管理系統無法從遠端解決設備問題,因此需要更多的人力成本,也會延長系統當機的時間,增加設備毀損的風險。反觀頻外管理系統,能夠有效率的修復當機問題,在人力的配置上也更加彈性、節省。
安提國際體認到自家的邊緣運算平台可能會遇及相關問題,因此迅速整合宜鼎國際InnoAGE固態硬碟,以滿足備有遠端頻外管理功能的需求。InnoAGE固態硬碟配備Azure Sphere晶片,能在固態硬碟中切割出一個獨立的空間,並在其中安裝獨立的系統與Azure Cloud串接,甚至能自動備份裝置的系統資料存放在固態硬碟中,無論是邊緣裝置的系統或軟體故障、損毀,都可以利用Azure Cloud的管理介面下達指令,讓邊緣裝置藉由Azure Sphere進行系統重啟或是還原。此外,也能在雲端的管理平台監控邊緣裝置的即時狀態,方便管理者遠端操控及維護大量的邊緣裝置。同時,為確保頻外管理中,最為人在意的安全性問題,Azure Sphere提供資料安全防護,使AI邊緣運算的推理結果安全上傳到雲端資料庫並消除任何安全風險。
安提國際2020 Embedded World秀GPU方案加速AIOT創新
GPGPU和邊緣AI運算解決方案供應商安提國際(Aetina)於2020年度德國紐倫堡Embedded World展會展示全套的人工智慧運算解方,和物聯網中的智慧操作案例。
在2020年的Embedded World,安提的展會攤位展出一個巨大的平台,展示三隻機器人,這是專屬於SparkBot的展示區域。首先在展台的後半部,以倉儲工廠作為背景,安提TX2機器人Line和Nano機器人Dot所負責的區塊。Line以安提TX2-AN310平台打造,能夠接收肢體動作的指示,並依照指令移動、夾取特定物件;Dot則是以Nano-AN110平台打造,負責入口處的安防控制,以人臉辨識的演算法來進行人員進出的黑、白名單,同時機器人上安裝有環境監測感測器,可以實時掌控工廠內的空氣品質。再來,展台前方區塊則規畫有戶外意象的道路規畫,展示安提Xavier機器人Surface。Surface機器人以安提Xavier-AX710平台打造,並搭配三個4K相機,以自動車為概念並設定為物流車,可以自動行走在展台上,偵測環境事物外,遇到停止指示亦會暫停移動。三隻機器人皆透過5G無線通訊解決方案連結至後台iCAP雲端監控系統,有效提供實時的裝置監測,並達到良好的邊緣裝置管理。
此外,不僅有Jetson平台的展示,安提國際也設置GPGPU相關解決方案的展示區域。其中包括PCIe工業用顯示卡系列、嵌入式MXM繪圖模組,無不展現出它們高效能的圖形運算能力。未來針對GPGPU解決方案,安提國際將持續升級其運算效能,為開發者提供更高效能的產品外,也根據Nvidia開發的腳步,逐步推出持續進步的加速工具。
安提國際SparkBot計畫整合邊緣垂直應用 預計於EW2020亮相
安提國際(Aetina)專注在工業用GPGPU和以GPU為基礎的運算平台,為強化產業發展下的必要能量且滿足人工智慧開發者對於運算平台的要求,安提國際規畫相關計畫「SparkBot」,以因應未來的趨勢洪流。「SparkBot」以單字「Spark」和「Robot」組成,代表安提國際對智慧物聯網整合的熱情與決心,同時,點燃產業邊緣端的AI能量並鼓舞整個產業向前推進。這個計畫不僅是將安提的平台持續與不同軟、硬體執行預先整合,更為人工智慧開發者們提供不同的邊緣智慧應用概念。SparkBot計畫堅持在相關產品上能夠與垂直系統整合商合作,並積極與不同軟、硬體廠商簽署合作備忘錄,打造更堅強的產業生態圈;此外,在計畫中,安提也設計實驗型機器人,不僅作為展示上的亮點,更是統整智慧概念,讓不同的智慧應用得以結合,創造出更多的智慧方案。
SparkBot實驗型機器人將會於Embedded World 2020中展示,其中有三種機器人平台,分別為以TurtleBot Waffle Pi和安提Jetson AGX Xavier-AX710平台組成的Surface(面)、TurtleBot Burger和安提Jetson TX2-AN310平台組成的Line(線)、以及TurtleBot Burger 和安提Jetson Nano-AN110平台組成的Dot(點),以緊湊的點、線、面羅織出全面且綿密的邊緣運算智慧部署。而在展覽上,將會有物流應用的概念展出,包含倉儲環境中的控制與管理、倉儲機器人、以及自走車等,歡迎親臨現場體驗、參觀。
安提國際新Jetson Nano載板助長智慧邊緣運算應用
隨著人工智慧的迅速發展,相關的AI應用已大量呈現在所有行業之中。藉此智慧遍地開花的結果,AI處理器已經站穩它在市場上的定位與不可或缺性。然而,為了滿足市場廣闊的需求,GPGPU和邊緣運算解決方案供應商安提國際(Aetina)提供多元化的人工智慧運算平台供相關應用開發人員選擇。
而在安提國際邊緣運算平台的亮點產品,是安提全新推出的Nvidia Jetson Nano載板AN110,將於2020嵌入式展覽(Embedded World 2020)展出。作為Jetson Nano模組的專用載板,AN110具有低功耗且強有力運算能力,加上其外形小巧的設計,堪足以成為當今AI應用上,有效於助長AIoT成熟、最適切的邊緣運算平台之一。
安提AN110載板是Nvidia Jetson Nano模組的專用載板,觸發模組所提供的472GFLOPS運算性能,只需耗費5W功耗(最大 10W),蘊含強大的人工智慧潛力。同時,作為Nvidia系列最小的智慧平台,安提的AN110只有87×67毫米,小巧的設計輕易適合於各種應用,適合部署於AI社群環境使用。此外,為符合當代邊緣設備的需求,安提AN110平台擁有豐富的I/O連接,分別為1x HDMI Type A、1x RJ-45 for GbE、2x USB3.2 Gen1 Type-A、5x GPIO和1x DC-in 12V。AN110 也支援1x 4K 或...
AI應用紛起 推論晶片炙手可熱
近年人工智慧(Artificial Intelligence, Al)熱潮帶來演算法、軟體、硬體等新發展,為了加速AI運算,半導體產業也積極開發對應的晶片,雖然早前於2005年業界即提倡過往只用於遊戲的繪圖處理器(Graphic Processing Unit, GPU)能有更多運用,如視訊剪輯(影片編碼轉檔)、高效能運算(High-Performance Computing, HPC)等,期望從遊戲娛樂專用轉向廣泛性運算,稱為GPGPU(General-Purpose GPU),但直至近幾年方由NVIDIA的Tesla系列帶動AI加速晶片熱潮。
Tesla系列雖取得市場先機,但AI技術與市場逐漸演變出不同需求,一是依據布建位置的不同分成資料中心(Data Center, DC)、邊緣(Edge)兩類,前者位於集中且有密集設備的資訊機房內,後者則裝設在各種需求現場,例如視訊監控的攝影機、機箱閘道器及自駕車內等。
另一則是依據AI程式開發與運用兩階段區分,AI程式在開發過程中也稱為訓練學習(Training)階段,開發完成後用於辨識或預測則稱為推論(Inference,亦稱為推理、推算、推測)階段。
推論晶片成長潛力佳
因應上述需求,AI晶片也必須改變發展,由於資料中心有源源不絕的電力因而於AI晶片設計時以效能為優先,晶片與晶片加速卡可動輒數十、數百瓦功耗;邊緣則須在用電上有所節制,攝影機可能僅以網路線方式取得若干電力(Power over Ethernet, PoE),因此晶片多必須低於10瓦,甚至僅1瓦、2瓦,閘道器亦僅比攝影機寬裕些;自駕車則因有汽車電瓶支撐且需對外界變化快速反應運算,因此為數十瓦、上百瓦電能。
除因應布建環境對功耗設計要求外,AI晶片因訓練、推論兩階段的不同也須改變,訓練階段由於AI的特徵、演算法、權重參數等均未定,需多方嘗試與調整,所以需要較高精度、較高位元數的運算,如32位元浮點數;訓練完成後則有機會簡化,調整成較低位元數,或將浮點數轉成整數,如16位元浮點數或8位元整數等。
事實上AI演算法仍持續精進,過去訓練以32位元浮點數為主,也開始出現16位元、8位元的浮點數訓練,如IBM於2018年的研究發表,推論可降至8位元整數,甚至出現4位元整數、2位元整數(圖1)。
圖1 IBM研究顯示AI訓練、推論的精度需求均持續降低中。
雖然用於訓練的AI晶片也能用於AI推論,但以32位元浮點數為主的處理單元執行8位元整數,在電路面積與功耗等方面並不經濟,且多數認為未來AI推論的需求將遠大於AI訓練。一個AI應用程式在一年內僅會數次調整參數而重新訓練開發,但訓練完成後則是全年隨時在推論執行(如臉部辨識的門禁系統),因此經濟節能的推論運算成為晶片商新焦點,甚至其市場會大於訓練用AI晶片市場。再將資料中心、邊緣、訓練、推論四者交叉權衡考量,由於訓練必須耗用大量且長時間運算,幾乎只會在資料中心內進行;即便不在資訊機房,亦僅在研究單位的桌上型電腦系統上進行,依然屬於偏重度用電的後端系統,短期內訓練不易在邊緣端進行,除非演算法、軟體面有重大突破,或僅為簡易少量訓練,邊緣大致上為推論晶片市場。
至於資料中心,原有高位元、高精度的AI晶片將持續用於訓練,但將逐漸導入推論專用晶片以便提升資料中心的經濟效益,除非在所有推論晶片均已投入運算仍無法滿足需求時,方才調用訓練用AI晶片轉而投入推論運算,屬應急性調度。
在分析前後端、訓練推論的四種情境後,2019年1月麥肯錫(McKinsey)發表的專文對四個市場進行預測,認為後端推論市場將有最大成長潛能(圖2)。
圖2 McKinsey&Company對四類型AI硬體市場的預估。
機房AI訓練/推論晶片各有方案
機房AI推論晶片有可能為最大潛力市場,然而機房訓練與機房推論的分際為何,一是晶片商發表晶片時即明確定義市場取向,如英特爾(Intel)Nervana的NNP-T/NNP-I晶片,前者為機房訓練晶片,後者為機房推論晶片;又如Intel近期購併的以色列Habana Labs,其機房訓練晶片為GAUDI方案,機房推論晶片為GOYA HL-1000晶片。
或者百度(Baidu)的818-300為訓練晶片,818-100則為推論晶片;NVIDIA亦採訓練、推論分別推展策略,其T4/Tesla T4即為推論專用晶片,有別於Tesla V100訓練晶片。
不過也有業者只專注於機房訓練或機房推論,例如谷歌(Google)的Cloud TPU並未有推論專用版,仍為訓練、推論合一,Google僅在邊緣推展推論專用晶片,即Edge TPU;亞馬遜AWS(Amazon Web Services)只自主發展用於推論的Inferentia晶片,訓練仍屬意使用NVIDIA Tesla;高通(Qualcomm)Cloud AI...
安提國際將於2020 Embedded World秀視覺GPGPU解決方案
在當今的AI運算的應用領域中,擁有一個高持久、可靠且良好優化加速的運算平台支援,是達成工作目的必要工具。GPGPU和邊緣運算解決方案供應商安提國際將在嵌入式展覽(Embedded World 2020)展示GPU應用的相關產品。安提國際旨在為相關垂直產業市場中的多個圖像應用,如醫療、遊戲、機器學習和AI推論設置一個穩定且易於利用的運算環境。
安提國際(Aetina)提供通用型顯示卡,能夠實踐每瓦特處理性能以及沉浸式的3D圖形繪製,得以在遊戲系統中吸引玩家的注意力。此外,安提國際的顯示卡具有3D與影像多螢幕顯示,優秀且領先的性能對於遊戲機的展現也至關重要。安提國際也提供全新的Nvidia RTX 2080TI和RTX Super系列,皆會在展會上展出。安提國際通用型顯示卡可以滿足並超越行業所需的特定功能或獨特要求,例如多螢幕顯示、精巧的外形、低功耗、雙滾珠軸承冷卻風扇或無風扇的使用、工業級元件用料及4K的精緻解析度。
此外,安提國際在GPGPU產品系列中,也提供嵌入式MXM圖形模組,並搭配其專屬開發套件。安提國際將會在展會中展出Nvidia Quadro MXM圖形模組,擁有卓越的圖形運算與高階的AI運算能力,是高性能、精巧尺寸、輕度重量和功率皆有所受限之嵌入式系統的理想解決方案。而安提國際的MXM主板MH110可用於評估用途,協助開發者縮短開發周期,加快其在視覺應用將產品落地、上市的時間。
安提推出MXM模組開發套件
步入AI時代,所有行業都在嘗試將自家的應用智慧化。但這樣做所要花費金錢和時間難以計數。因此GPGPU和AI邊緣運算平台供應商安提國際發表新的MXM模組開發套件。該開發套件幫助開發人員構建測試系統,來確認產品、應用的性能規格和相關周邊設備。
安提的MXM開發套件包含MH110 MXM主板,可縮短開發週期,加速顧客將其視覺運算應用推向市場的時間。而該開發套件支援具有第7代i7 CPU核心以及DDR4 SO-DIMM 2133 MHz雙通道,最大可擴充至32GB,輕鬆地滿足一般市場需求,並成為優良的AI解決方案入手的起點。此外,通過HDMI 1.4和四個DisplayPort進行顯示,可以靈活地採用多顯示器的要求,可以因此構建入門套件來實現更多的可能性。此外,為有完備的周邊I/O擴充,安提MH110提供Mini-PCIe插槽、M.2 B-key和M-key,適用於Wi-Fi、藍牙、4G LTE、存儲或擷取卡的各種選項。
另一方面,針對尚未使用MXM圖形模組的開發者,安提重新推出MXM圖形模組和PCIe介面的轉卡RTM-M3C-6DP。該轉卡支援安提MXM 3.1 type A/B模組,為開發者提供使用MXM圖形模組的捷徑,簡短產品初期的開發期間,在市場中出奇制勝。
此MXM模組開發套件系列可與安提各式 MXM模組一起使用;安提MXM圖形模組為緊湊、薄型且基於工業標準MXM3.0 / 3.1版的解決方案。利用Nvidia Quadro GPU強大力量,為嵌入式系統提供最新和領先的GPU優勢。其卓越的圖形處理性能、GPU運算能力和視頻功能,適用於智慧嵌入式系統和視覺運算應用,如醫學影像成像、國防、遊戲和深度學習應用的理想解決方案。
AI發展歷久彌新 推論晶片商機展露
圖1 人工智慧的第三波熱潮。
資料來源:http://www.technologystories.org/ai-evolution/
人工智慧的運用分成兩個階段,一是學習訓練階段,二是推論(或稱推算、推理)階段,此與應用程式相類似,程式開發階段即為學習訓練階段,程式正式上線執行運作則為推論階段。開發即是船艦在船塢內打造或維修,執行則為船艦出海航行作業執勤(圖2)。
圖2 人工智慧訓練與推論的差別。
資料來源:https://blogs.nvidia.com/blog/2016/08/22/difference-deep-learning-training-inference-ai/
訓練與推論階段對運算的要求有所不同,訓練階段需要大量繁複的運算,且為了讓人工智慧模型獲得更佳的參數調整數據,運算的精準細膩度較高,而推論階段則相反,模型已經訓練完成,不再需要龐大運算量,且為了儘快獲得推論結果,允許以較低的精度運算。
例如一個貓臉辨識應用,訓練階段要先提供成千上萬張各種帶有貓臉的照片來訓練,並從中抓出各種細膩辨識特點,但真正設置在前端負責辨識來者是否為貓的推論運算,只是辨識單張臉,運算量小,且可能已簡化特徵,只要簡單快速運算即可得到結果(是貓或不是)。
推論專用晶片需求顯現
對於人工智慧的訓練、推論運算,近年來已普遍使用CPU之外的晶片來加速,例如GPGPU、FPGA、ASIC等,特別是GPGPU為多,原因在於GPGPU的高階軟體生態較為完備、可支援多種人工智慧框架(Framework),相對的FPGA需要熟悉低階硬體電路者方能開發,而ASIC通常只針對限定的軟體或框架最佳化(表1)。雖然FPGA與ASIC較有難度與限制,但仍有科技大廠願意投入,如Microsoft即主張用FPGA執行人工智慧運算,Google則針對TensorFlow人工智慧框架開發ASIC,即Cloud TPU晶片。
人工智慧模型的開發(訓練)與執行(推論)過往多使用同一晶片,用該晶片執行訓練運算後也用該晶片執行推論運算。但近1、2年來隨著訓練成果逐漸增多,成熟的人工智慧模型逐漸普及,以相同晶片負責推論運算的缺點逐漸浮現。以GPGPU而言,晶片內具備大量的平行運算單元是針對遊戲繪圖、專業繪圖或高效能運算而設計,可運算32、64位元浮點數,這在人工智慧模型訓練階段亦適用,但到推論階段,可能只需16位元浮點、16位元整數、8位元整數等運算即可求出推論結果,甚至是4位元整數便足夠。如此過往的高精度大量平行運算單元便大材小用,電路與功耗均有所浪費,所以需要人工智慧的推論專用處理晶片。
半導體廠紛發展推論晶片
推論晶片的需求在人工智慧重新倡議後的2年開始浮現,但在此之前已有若干產品,如2014年Google對外揭露的探戈專案(Project Tango)即使用Movidius公司的Myriad晶片(圖3)。
圖3 Intel Movidius Myriad X晶片
資料來源:Intel
Movidius之後於2016年推出Myriad 2晶片,同樣也在2016年,Intel購併Movidius取得Myriad 1/2系列晶片,並接續推出Myriad X晶片。Google除探戈專案外其他硬體也採用Intel/Movidius晶片,如2017年的Google Clips人工智慧攝影機、2018年Google AIY Vision人工智慧視覺應用開發套件等。
不過真正受業界矚目的仍在2018年,包含NVIDIA推出T4晶片(嚴格而論是已帶晶片的加速介面卡)(圖4)、Google推出Edge TPU晶片(圖5),以及Amazon Web Services在2018年11月宣告將在2019年推出Inferentia晶片,均為推論型晶片。
圖4 NVIDIA展示T4介面卡
資料來源:NVIDIA
圖5 Google Edge TPU小於一美分銅板。
圖片來源:Google
另外,臉書(Facebook)也已經意識到各形各色的推論型晶片將會在未來幾年內紛紛出籠,為了避免硬體的多元分歧使軟體支援困難,因此提出Glow編譯器構想,期望各人工智慧晶片商能一致支援該編譯標準,目前Intel、Cadence、Marvell、Qualcomm、Esperanto Technologies(人工智慧晶片新創業者)均表態支持。
與此同時,臉書也坦承開發自有人工智慧晶片中,並且將與Intel技術合作;目前臉書技術高層已經表示其晶片與Google TPU不相同,但是無法透露更多相關的技術細節。而Intel除了在2016年購併Movidius之外,在同一年也購併了另一家人工智慧技術業者Nervana System,Intel也將以Nervana的技術發展推論晶片。
推論晶片不單大廠受吸引投入新創業者也一樣積極,Habana Labs在2018年9月對特定客戶提供其推論晶片HL-1000的工程樣品,後續將以該晶片為基礎產製PCIe介面的推論加速卡,代號Goya。Habana Labs宣稱HL-1000是目前業界最快速的推論晶片(圖6)。
圖6 Habana Labs除推出HL-1000推論晶片Goya外也推出訓練晶片Gaudi。
資料來源:https://www.convergedigest.com/2018/09/interview-habana-labs-targets-ai.html
雲端機房/快速反應 推論晶片可分兩種取向
透過前述可了解諸多業者均已投入發展推論晶片,然嚴格而論推論晶片可分成兩種取向,一是追求更佳的雲端機房效率,另一是更快速即時反應。前者是將推論晶片安置於雲端機房,以全職專精方式執行推論運算,與訓練、推論雙用型的晶片相比,更省機房空間、電能與成本,如NVIDIA T4。
後者則是將推論晶片設置於現場,例如配置於物聯網閘道器、門禁攝影機內、車用電腦上,進行即時的影像物件辨識,如Intel...