- Advertisement -
首頁 標籤 Nvidia

Nvidia

- Advertisment -

ML應用遍地開花 GPU大舉進軍IPC產業

研華/NVIDIA合作 打造從雲到端解決方案 在本屆Computex展期間,許多工業電腦相關領域業者均發表支援機器學習功能的產業用運算解決方案,例如全球工業電腦龍頭研華,為滿足物聯網與人工智慧時代,各種嵌入式裝置對運算力的需求,宣布和NVIDIA結盟,共同提供從端到雲的AI解決方案,將人工智慧與物聯網中的各項技術及智能系統結合,落實AIoT的高運算表現。 研華工業物聯網事業群總經理蔡淑妍表示,研華近年來聚焦物聯網行業方案發展,累積許多行業專注知識與需求,設計符合各行業應用的工業系統平台。研華加入NVIDIA的Jetson技術生態圈,恰好補足研華於AI邊緣運算領域的應用,進而打造全球首套Jetson Nano行業專屬邊緣端運算電腦平台。 研華以硬體系統開發能力為基礎,推出全球首套基於Jetson Nano硬體平台的邊緣端運算系統平台MIC-710IVA,此舉將促使研華與輝達共同搶攻人工智慧邊緣運算(Edge AI)於智慧城市監控市場領域。該系列展品已於2019年3月在美國舉辦的GPU技術大會(GTC 2019)首度登台,與NVIDIA全新的Jetson Nano同步亮相。 而在雲端資料中心方面,研華長期以來在雲端伺服器端採用NVIDIA的GPU,打造專屬AI推理和深度學習GPU伺服器。研華所推出的超高密度運算GPU伺服器通過輝達Tesla T4測試(NVQual),儘管在1U機箱內放置5張GPU卡,還是能排除GPU運算時所產生的熱當問題,以維持GPU資料處理功能,保持絕佳的網路靈活性。 使用NVIDIA GPU卡的伺服器能滿足大數據時代下AI深度學習需求,特別是視覺影像辨識在智慧工廠如工業視覺檢測設備(AOI)、智慧交通如車流辨識、智慧農業與醫療影像等應用。 蔡淑妍最後補充道,邊緣智慧、高效能運算,將是落實AI應用的最後一哩路,因此研華與輝達成為合作夥伴後,將更積極向全球展示人工智慧從端到雲的應用,一同聯手協助企業將AI落實在智能製造、智慧交通,以及各式智慧城市應用上。 凌華看好GPU邊緣運算商機 在工業電腦領域同樣享有盛名的凌華,在本屆Computex期間同樣主打基於GPU的運算解決方案。NVIDIA EGX平台將一系列凌華和NVIDIA AI技術,與來自Mellanox和其他供應商的安全、網路和儲存架構功能相結合。在全球最大規模的產業中,包括智慧製造、醫療保健、航太和國防、運輸、電信和城市,許多公司透過凌華科技的邊緣AI解決方案,迅速且安全地從邊緣到雲端部署AI。 凌華科技在本屆Computex期間發表的解決方案包含邊緣伺服器、AI NVR、交通管理、機器人控制器等邊緣裝置。凌華的邊緣伺服器採用Tesla GPU,是電信級的多用途高擴充性邊緣平台,可提供營運商及其客戶運用NVIDIA的先進GPU技術快速建構和服務。 AINVR則是精簡型的多通道AI NVR,採用NVIDIA Jetson Nano技術,尺寸、重量和功率(SWaP)皆符合公共運輸和門禁管制的身分偵測和自主追蹤需求。 DLAP-201-JT2則是一款整合NVIDIA Jetson TX2的邊緣運算平台,可加速物體偵測、識別和分類的深度學習工作負載。可應用於即時分析交叉路口的交通流量,實現交通管理優化、改善智慧公車服務、加強安全監控,並實現更多智慧城市和智慧製造應用。 M300-Xavier-ROS2則是無風扇機器人控制器,運用NVIDIA Jetson AGX Xavier伺服器等級效能,實現自主移動機器人(AMR)的自主導航。 宸曜發揮機構設計實力 雙GPU散熱不成問題 工業電腦業者宸曜科技也在本屆Computex展出多款以GPU為核心,可支援機器學習的硬體解決方案。 事實上,百度的阿波羅開源自動駕駛計畫,就是採用宸曜的Nuvo-6108GC車載運算設備,基於該款設備的開發經驗,宸曜推出全球首款兼具工業電腦和車載應用設計,並支援雙GPU的人工智能平台Nuvo-8208GC(圖1),專為搭載兩組高階250W NVIDIA GPU圖像顯示卡的需求而設計,它在浮點運算(FP32)中可提供高達28TFLOPS的超強GPU運算效能,特別適用於當代尖端的GPU加速邊緣運算科技,比如自動駕駛、視覺檢測、即時臉部辨識與移動監控等應用。 圖1 宸曜推出可搭載兩張GPU板卡的嵌入式運算設備,可做為自駕車的大腦。 於人工智慧平台方面的新品尚有Nuvo-7164GC與 Nuvo-7166GC,其為強固型嵌入式工業等級的AI推理人工智能平台,專為語音辨識、影像和圖形識別,以及電子商務推薦系統等高階推理運算應用而設計。Nuvo-7164GC與Nuvo-7166GC支援 NVIDIA...
0

凌華攜手NVIDIA打造即時AI人工智慧邊緣運算平台

物聯網裝置的迅速普及引發資料量的爆炸性成長。預估到2025年,將有1500億台機器感應器和物聯網裝置不間斷地串流待處理資料。同時2019年底全球人工智慧(AI)系統支出將達到358億美元,比2018年支出成長44.0%。如此的需求遠遠超出現有CPU平台的能力。 AI邊緣運算有助於組織機構運用感應器和裝置來收集大量資料,進行智慧製造、醫療保健、航太和國防、運輸、電信和城市等規劃,提供絕佳的客戶體驗。 試想,能夠即時感知、瞭解和處理來自商店街道、廠區等數十億個感應器的大量資料串流,會是什麼情境。再想,有能力使用通用語言即時瞭解客戶並進行溝通,還能理解客戶的肢體語言,會是什麼情境。例如,支援AI的網路視訊錄影機(AI-NVR) 可用於自動追蹤、客戶行為分析和門禁管制,以便立即採取行動。又或者,在航空應用中,AI可用於大幅減少跑道檢查時間、加強障礙物偵測,並減少航班延誤的可能性。 此外,在製造應用中,採用AI的自動光學檢查(AOI)系統可以加強檢查並提高偵測精確度。在零售和物流應用中,由AI提供支援的自主移動機器人(AMR)可以撿貨和準備訂單、補充商店貨架缺貨,並交寄包裹給客戶。AI邊緣運算還可以在交叉路口進行複雜的交通監控和分析。 邊緣環境自主的興起,例如智慧家居助手和自主機器人,需要世界最先進的運算平台。凌華科技的AI邊緣運算解決方案採用NVIDIA EGX平台,透過機器學習、資料分析和人工智慧,將AI運算的強大功能發揮到極致,讓所有一切都成為可能。將有助於做出即時決策,尤其是在與資料中心的連線受限制或無法連線時。 邊緣部署的其中一項艱鉅挑戰是IT管理,包括邊緣伺服器作業系統的安裝、Kubernetes部署,以及裝置配置和更新。EGX平台透過強化的軟體堆疊而促使企業的生產更加完善,藉以簡化企業的整個流程。 凌華科技的邊緣解決方案與NVIDIA EGX平台將一系列凌華科技和NVIDIA AI技術與來自Mellanox和其他供應商的安全、網路和儲存架構功能相結合。在全球最大規模的產業中,包括智慧製造、醫療保健、航太和國防、運輸、電信和城市,許多公司透過凌華科技的邊緣AI解決方案迅速且安全地從邊緣到雲端部署 AI。
0

併購Mellanox NVIDIA再掀資料產業變革

2018年底,美國晶片製造商Xilinx曾與英國第二大銀行巴克萊銀行合作,向Mellanox提出50億美元的收購報價。同時,Microsoft則是聘請了高盛集團進行收購談判,提出55億美元。此外,Intel為併購Mellanox,更是提高價格到55至60億美元。Intel欲收購的原因是,2012年Intel收購了QLogic的無限頻寬技術部門(InfiniBand, IB)和CRAY物聯網部門,成立了Intel的高速互聯部門。Mellanox的InfiniBand技術對於Intel高速互聯部門正在發展的Omni-Path架構(OPA)將能產生顯著效益。 NVIDIA資料中心業務從2016年營收8.3億美元占比12.0%,持續成長至2017年的19.3億美元占比19.9%,直到2018年的29.3億美元占比25.0%。然而,NVIDIA資料中心業務營收表現放緩,特別是2018 Q4資料中心業務營收6.79億美元,低於預期的8.39億美元。 NVIDIA資料中心業務低於預期的原因之一,是旗下最新的高階GPU銷售業績不及預期,加上近期資料中心的預算支出減緩,導致庫存過剩。其中,導致銷售業績不如預期的原因是,雖然NVIDIA在GPU架構中加入了人工智慧應用的張量核心(Tensor Core),針對深度學習操作的數學運算進行了優化,但是特殊應用積體電路(Application-Specific Integrated Circuit, ASIC)在部分人工智慧方面確實要比GPU要更有優勢,因此越來越多廠商決定自行設計人工智慧ASIC處理器。 例如Google的張量處理器(Tensor Processing Unit, TPU)、Fujitsu的深度學習處理器(Deep Learning Unit, DLU)、Intel的神經網絡處理器(Neural Network Processor, NNP)、阿里巴巴的阿里神經處理器(Ali-Neuronal Processing Unit, Ali-NPU)等等,而這也正是NVIDIA資料中心業務未來的一個危機。 Mellanox總部位於以色列和美國,成立於1999年,現有員工約3,000人,主要業務為生產資料中心的通訊晶片及硬體設備,包括網路晶片、網路介面卡、網路交換器以及網路電纜等。 Mellanox的主要業務有積體電路、主機板、交換器系統、電纜與其他。其中。對應於網路介面卡的主機板業務在收入比重和年成長率都是最重要的業務,從2016年營收3.3億美元占比39.3%,持續成長到2018年營收4.9億美元占比45.5%。 此外,Mellanox是InfiniBand的先驅之一,更是InfiniBand貿易聯盟(InfiniBand Trade Association, IBTA)9大主要董事會其中一員,IBTA成員包括了CRAY、Emulex、HP、IBM、Intel、Mellanox、Microsoft、Oracle、Qlogic。起初IBTA聯盟中只有Mellanox和Emulex專門生產製造InfiniBand產品,然而2012年Intel併購Qlogic InfiniBand部門,2015年Emulex也已經被Avago收購。如今,InfiniBand技術大廠只剩Mellanox與Intel。 InfiniBand是高性能聯網的產業標準架構之一,與高速乙太網路(Ethernet)、光纖通道和其他專有技術競爭,例如克雷公司(Clay)的SeaStar技術等。關鍵的是,無論是InfiniBand或乙太網路等領域,相較競爭大廠Intel、Broadcom、Marvell,Mellanox皆有相當完整的專利與技術布局,而成為本次眾多廠商積極併購的原因。 NVLink結合Mellanox技術推升資料處理效能 面對資料中心市場,NVIDIA本身已具有關鍵的GPU高速通訊互聯技術NVLink,可支援用於CPU與GPU之間的連接等,甚至推出NVSwitch交換器晶片組來加速大量GPU之間的通訊連接。重點是,NVLink技術相較主流的快捷外設互聯標準(Peripheral Component...
0

打造完善自駕車生態系 科技部攜手NVIDIA簽署合作意向書

為協助台灣打造更完善自駕車生態系,科技部近日與NVIDIA簽訂合作意向書,規劃於台灣智駕測試實驗室與NVIDIA全新的自駕車系統開發驗證平台展開全面合作,包含自駕車虛擬模擬軟體、決策系統與自駕車體等,提升相關技術研發動能。 科技部長陳良基表示,自駕車的出現,打破傳統汽車領域封閉整合的產業結構。這是一個全新的藍海市場,台灣的汽車產業雖然不比歐美日等汽車大國,但台灣具有深厚的IT資通訊實力,將有助產業界跟上自駕車的浪潮,只要策略正確,就有機會打入國際市場。 NVIDIA全球副總裁暨台灣區總經理邱麗孟提到,藉由NVIDIA在車用AI平台上的優勢,台灣車用IC、車載資通訊與車用電子等相關業者,都能透過運用並整合NVIDIA的軟體技術和硬體設備,為全球汽車製造商打造完整的自駕車生態系,大幅縮短自駕技術開發的時程並加速商用化。 NVIDIA研發之自駕車模擬平台DRIVE Constellation、自駕車模擬系統Drive Sim與Drive AGX,以及自駕車體BB8,從影像感知系統、人機介面整合及感知程序等模組,到整部測試車均為其重點項目。 台灣智駕測試實驗室已於2月25日正式開幕並由國研院維運,為強化針對自動駕駛主要關鍵程序「感知」、「決策」及「控制」三方面之測試能量,國研院將與NVIDIA共同投入建立完整的測試服務平台,除滿足產學研界進行自駕車發展時之軟體開發、控制技術、硬體規格等研發需求之外,也將投入自駕車開發者生態圈、新創公司培育專案、辦理深度學習學院及工作坊,並協助監視器及感應器業者設置測試環境。 另外,台灣智駕測試實驗室未來將在NVIDIA協助下,致力營造更便利之自駕車技術研發平台,持續提升虛擬模擬平台、資料彙整平台及場域測試服務能量。利用場域內道路情境、輔助測試設備及虛實整合研發服務平台,除可協助國內學研界及自駕車廠商完成測試評估,在「無人載具科技創新實驗條例」沙盒環境下認證上路之外,亦可提升相關技術開發與落實應用,促成台灣自駕車產業快速發展。 國研院院長王永和指出,與現今自駕車主要的行駛環境相較,台灣的用路環境有行人、機車、汽車等高度混流,交通環境複雜許多。若能發展適合在複雜環境下行駛無礙的自駕車,必定是相關產業發展重點。未來與NVIDIA展開合作,逐步引進NVIDIA自駕車研發能量,以智駕測試實驗室為據點形成研發聚落,協助台灣產學研界研發自駕技術並落實於應用,相信此合作案可為產、學、研界創造三贏的局面。  
0

加強資料中心/高速互連優勢 NVIDIA斥資69億美元收購Mellanox

為搶占資料中心市場,拓展業務範圍,NVIDIA斥資69億美元收購邁倫科技(Mellanox)。此收購案將結合NVIDIA的運算平台和Mellanox的互連技術,NVIDIA將能最佳化資料中心規模的運算負載量,提供全球前500大超級電腦中超過250台的互連能力,滿足雲端服務供應商與電腦製造商對於高速運算、互連的需求。 NVIDIA創辦人暨執行長黃仁勳表示,人工智慧、資料科學及數十億同時出現的電腦用戶都在急劇加速對全球資料中心的需求。為了滿足這樣的需求,將需要能夠透過智慧網路結構來大量連接快速計算節點的整體架構,以形成一個巨大的資料中心規模的運算引擎。 根據此協議,NVIDIA 將以每股125美元現金收購Mellanox所有已發行普通股,交易金額約為69億美元。此項交易案已獲得兩間公司的董事會同意,並預計將在2019年年底前完成。 現今在人工智慧、科學運算和數據分析的資料與運算強度正以倍數成長,大規模和企業資料中心對高效運算、互連的需求越來越多;但CPU的效能進展隨著摩爾定律的結束而放緩,驅使GPU和智慧連網解決方案應用大增。 可想而知,未來的資料中心將被建構為具有數萬個運算節點的巨型運算引擎,且將整體設計可彼此互連以獲得最佳效能;而Mellanox主要發展高速互連解決方案,其InfiniBand互連技術與高速Ethernet方案目前已被用於全球超過半數最快的超級電腦,以及許多超大規模資料中心。 收購Mellanox後,NVIDIA將能最佳化資料中心規模的運算負載量,可囊括所有運算、網絡和儲存堆疊,為客戶達到更高效能、更高的利用率與更低的營運成本。
0

專訪NVIDIA全球電信產業發展負責人Soma Velayutham NVIDIA助力電信商迎戰5G運算

NVIDIA全球電信產業發展負責人Soma Velayutham表示,5G和4G最大的不同在於,提升了100倍的頻寬、200倍的密度與40倍的延遲速度,而這些效能亟需仰賴軟體定義網路(SDN)技術,同時結合AI、深度學習、大規模多重輸入多重輸出(Massive MIMO)與可編程(Programmable)等技術能力,藉此滿足5G所需要的頻寬、網路速度與大連結效能。 Velayutham指出,簡單來說,5G與過去的通訊技術截然不同,預估到了5G時代,在雲端AR/VR、車聯網、工業物聯網及智慧城市的帶動下,每天用戶所產生的資料將高達300GB,而資料量暴增也為全球電信業者帶來全新挑戰,對於運算的需求也大幅增加。 對此,Velayutham說明,現今網路速率以30倍的速度飛快成長,通用型運算處理的CPU已漸漸無法滿足需求,此時便需要仰賴GPU加速器。為此,NVIDIA提供了軟硬體整合平台,其中結合GPU Cloud、高效能運算(HPC)、AI、視覺化(Visualization)等能力。 總而言之,5G時代即將來臨,資料量也因而快速增加,電信商對於高速運算的需求也隨之大增,並對AI產生濃厚興趣;而GPU可協助電信商強化其資料中心的運算效能,進而讓電信業提供更多5G創新服務。 像是韓國SK Telecom期望能透過智慧影像分析(IVA)的方式保護公民與財產,而要實現此一目標,須即時分析百萬台攝影機所收集的數據,如此便須仰賴深度學習和強大的運算能力。也因此,SK Telecom採用NVIDIA GPU支援AI遠端影像監控應用服務(VSaaS),提升5倍的訓練速度,並透過TensorRT拓展推理引擎能力。 Velayutham說明,因應5G發展,NVIDIA已與電信商、內容供應商、行動設備業者,以及各類型消費性電子商合作,扮演串聯上中下游5G相關產業與應用的關鍵角色,預計將能更加深入的協助電信商克服5G挑戰,加速其5G相關建設的部署。 NVIDIA全球電信產業發展負責人Soma Velayutham表示,5G傳輸資料量大增,電信商對於高速運算的需求明顯增加,並開始發展AI技術。   NVIDIA全球電信產業發展負責人Soma Velayutham表示,5G資料量大增,電信商對於高速運算的需求明顯增加。  
0

工業相機內建GPU AI正式走上生產第一線

直接在邊緣裝置上進行模型推論(Inference),是人工智慧(AI)走向產業應用的必然趨勢,且隨著半導體元件技術不斷精進,推論發生的地點將會越來越貼近生產的第一線。凌華與GPU大廠NVIDIA合作,正式推出全球第一款內建GPU,可以直接執行推論的工業相機NEON-J,就是AI從雲端走向邊緣的最佳註腳。 凌華科技資深產品經理許凱翔指出,機器學習對機器視覺技術的應用拓展,能做出非常大的貢獻。在過去,機器視覺軟體是以預先設定的規則為基礎,工程師在開發軟體時,必須用演算法把想要偵測的影像特徵,例如瑕疵的特徵詳實描述清楚,系統判斷的準確率才會高。 但在實際應用上,這種方法常會遇到困難,例如待測物本身就帶有某些圖樣(Pattern)時,當瑕疵跟背景圖樣混在一起,系統要精準辨識出瑕疵的難度就很高。這種情況在電子業其實很常見,例如TFT-LCD面板、太陽能電池片(Solar Cell),本身就是有圖樣的產品,要用現有的機器視覺去抓出這類產品的瑕疵,是很大的挑戰。 對機器學習來說,圖樣辨識正是它最擅長的工作。因此,基於機器學習的機器視覺系統,只要圖像處理、判斷的速度夠快,就能為機器視覺技術的應用打開很多新的可能性。這也是凌華跟NVIDIA合作,率先推出整合Jetson TX-2嵌入式GPU的NEON-J工業相機的原因。當推論可以直接在工業相機上執行,不必仰賴雲端,不僅可以省下可觀的網路流量,網路延遲的問題也一併解決了。 不過,由於Jetson-TX2是專為嵌入式應用設計的低功耗GPU,其運算能力無法跟桌上型電腦、伺服器使用的GPU相提並論,因此目前NEON-J不能執行太複雜的機器學習模型,否則會來不及對影像做出即時判斷。 即便NEON-J目前還無法執行太複雜的模型推論,但其基於機器學習的特性,已經成功為機器視覺打開新的應用市場。舉例來說,食品業的產品分類/分級應用,就很適合用NEON-J來執行。像是肉品分切作業,要依照肉品的油花分布狀況來判斷肉品等級,或是肉品出於哪個部位,就要靠圖像識別來實現,傳統基於規則的機器視覺軟體很難處理這種問題。 另一個應用案例是冷凍披薩工廠的品管。披薩廠商在產品包裝前,要先檢查披薩上的餡料數量、狀態做出檢查,才能避免NG的產品賣到消費者手上。從機器視覺的角度,這是一個典型的圖樣辨識問題,例如鳳梨、香腸的片數是否符合標準,有沒有破損,就得靠圖樣識別來做。因為披薩上的鳳梨、香腸切片可能有大有小,傳統的機器視覺分析軟體遇到這種待測物,容易出現誤判。 總結來說,對機器視覺應用來說,機器學習是一個很值得期待的互補型技術。以規則為基礎的分析軟體,在量測物件尺寸、辨識QR Code、條碼,以及引導機器手臂在2維平面上運作,是很有效率的,可靠度也高。但如果是要處理跟圖樣有關的問題,機器學習是比較理想的解決方法。  
0

ACAP平台彈性/智慧高 Xilinx轉型全面擁抱AI

2012年的ImageNet機器學習影像辨識學術競賽,被喻為是正式掀起這一波人工智慧(Artificial Intelligence, AI)浪潮的關鍵活動之一,GPU平行運算架構在圖形辨識上的高效能,讓深度學習網路可以大幅增加層數,以提升影像辨識準確率;也旋即於2015年以3.57%的錯誤率超越人眼,揭開AI產業化與產業AI化的大門,運算平台除了近期超熱門的GPU之外,CPU、FPGA與新興的神經網路處理器(NPU),更亟欲搶占AI深度學習網路運算與推論市場大餅。 人工智慧發展全面展開,可編程邏輯廠商美商賽靈思(Xilinx)認為,未來已經沒有一個架構可以滿足所有的應用需求,因此該公司正式踏上轉型之路,2018年3月啟動策略轉型工作,宣示從元件廠商轉型為平台廠商,提出自行調適運算加速平台(Adaptive Compute Acceleration Platform, ACAP),並舉辦賽靈思開發者大會(XDF),發表未來幾年的技術與產品重點,全面擁抱人工智慧的發展趨勢,以資料中心(Data Center)為發展策略的起點,目標為打造靈活應變、萬物智慧的世界。 自行調適/運算加速/平台化策略 多年來以可編程邏輯元件技術立足產業的Xilinx,為了在AI的創新浪潮中注入下一波成長動能,啟動成立以來最大規模的轉型工程,Xilinx總裁暨執行長Victor Peng(圖1)表示,在AI無所不在的時代,相關應用日新月異,晶片設計週期已經落後創新的速度,FPGA彈性的特點則可以應用在AI的創新上。目前一般新晶片設計週期高達24個月,透過ACAP平台的協助,可將AI模型加以拆解,變成數個不同的發展(Develop)、優化(Optimize)、部署(Deploy)流程,該平台動態範圍廣泛彈性,可針對不同的應用調整需要的加速範圍。 圖1 Xilinx總裁暨執行長Victor Peng表示,該公司自行調適運算加速平台ACAP目標為打造靈活應變、萬物智慧的世界。 因此Xilinx未來不再是元件供應商,而是平台化解決方案開發與供應商。而資料爆炸、AI興起、摩爾定律放緩,顛覆了原有的市場和業務,Peng認為,平台策略在這樣的大環境下中也就顯得更加重要,系統和基礎設施在全球迅速擴張,對於運算能力和頻寬也有了前所未有的要求。同時,也要更加迅速地滿足不斷變化的要求和標準。就像自然界「物競天擇,適者生存」的自然法則一樣,在數位世界,靈活應變的系統也是最具彈性和可持續性的。 Xilinx於10月推出第一款ACAP平台產品Versal,Peng指出,Versal字面上是由Variety與Universal組合而成,希望在技術與應用上可以兼顧多樣性與通用性。Peng強調,ACAP平台是整體軟體的堆疊,不僅僅是晶片,還包括高整合度工具、最佳化函式庫、作業系統等,還有AI框架標準,只須利用符合業界標準設計的流程就能針對其硬體與軟體進行編程與最佳化,針對整體應用的加速,而不僅止於深度學習網路。 Versal架構專為AI應用開發 Versal的架構將發展兩個系列、六個應用區隔,兩個系列以有無AI核心為主要差異,未搭載AI引擎的系列,運算能力由低至高為Prime、Premium以及HBM三個產品線;而搭載AI引擎的系列,主要以應用區隔為AI核心、AI邊緣以及AI RF系列。未搭載AI引擎系列,針對市場上廣泛適用性進行設計,並就作業負載的連結與線上加速進行最佳化。搭載AI核心的系列,針對雲端、網路以及自駕車應用進行最佳化,該系列配有5個元件,並提供128至400個AI引擎。 在架構上,Xilinx FPGA與SoC產品管理暨行銷資深總監Kirk Saban(圖2)解釋,Versal架構中有幾個主要的核心,包括:純量處理引擎(Scalar Processing Engine),搭載Arm Cortex-A72與Arm Cortex R5應用處理器,還有可完全軟體編程的平台管理控制器;自行調適硬體引擎(Adaptable Hardware Engine),可動態重新配置,即時加速能力最高達八倍;DSP引擎可提供高準確性浮點運算與低延遲,針對客製化資料路徑的細微性控制;AI引擎具有高傳輸率、低延遲與高效率,可協助AI推論與高階訊號處理,搭配先進記憶體和介面技術,可提供強大的異質加速能力。 圖2 Xilinx FPGA與SoC產品管理暨行銷資深總監Kirk Saban解釋,自行調適硬體引擎,可動態重新配置,即時加速能力最高達八倍。 而在軟體支援與開發環境部分,Xilinx軟體業務執行副總裁Salil Raje說,AI人工智慧有兩個階段,訓練和推論。在訓練階段,資料科學家將海量的資料放到模型中,然後微調模型、改善模型以減少誤差,之後將訓練模型部署到應用當中。在推論過程當中,資料量相對較少,在推論階段,回應速度與功耗就顯得更加重要,如果部署在搭載電池的邊緣設備當中,要盡量降低功耗。未來幾年,推論需求的成長性將明顯高於訓練(圖3)。 圖3 AI推論需求將持續攀升 資料來源:Barclays Research(05/2018) AI創新與應用日新月異 而推論帶來的挑戰包括:AI創新的速度,低延遲、高通量和高效能與整體的應用加速。Raje指出,幾年前AI關注圖像的分類以及推薦的引擎,但是AI應用和AI模型的使用數量成長的速度非常快,包括目標識別、分割、語音辨識、異常檢測等,在每個應用當中都有很多的創新發生在AI的模式上。2012年的AlexNet促成AI模型的大爆炸,在過去六年,絕大多數的創新都是為了改善精確度。最近則是想提高AI模型的效率,以應用於行動裝置和IoT終端。 現在AI的應用、AI模型和精度方面有很多的創新,Raje舉例,有一個最先進的深度學習網路,等專為其設計的晶片生產時,技術已經產生了變化,此固定功能晶片,只為了支援一個舊的網路架構。所以固定晶片架構不是好選項,要靈活應變的硬體如賽靈思FPGA和ACAP元件,使得使用者能夠客製資料流程以針對最先進的網路,同時可彈性調整,而不需更換晶片。靈活應變的硬體也能夠客製記憶體的層次結構,可以用更多的On...
0

高效能運算耗電量驚人 三相交流電直上機架成解方

資料中心雖具有極大的運算能力,但耗電量卻也不容小看,而在人工智慧(AI)、高效能運算當道的今天,專門針對這類需求所設計的伺服器硬體,其功耗又比典型伺服器高出一大截。有鑑於此,電源模組供應商Vicor提出三相交流電直上機架(Rack)的新方案,希望藉此讓資料中心電源的效率跟功率密度更上一層樓。 Vicor產品行銷總監Ina Mazsa表示,為了減少電力在傳輸過程中的損耗,伺服器內部的配電架構從12V提升到48V已經是大勢所趨。而在此同時,整個資料中心的電源架構也正醞釀一波新的革命--直接把三相交流電連接到機架上。 目前資料中心的主流配電架構是採用高達380V的HVDC,將直流電力送到機架上,然後伺服器內的電源供應器再將其轉換成48V或更傳統的12V直流電,給各種負載使用。但隨著人工智慧與高效能運算的需求日增,這種架構將面臨新的挑戰。 事實上,專為人工智慧所設計的高性能運算設備,甚至是超級電腦,一個機架的電力需求就可高達上萬瓦(W)、甚至數萬瓦,遠大於典型伺服器的耗電量。以NVIDIA最新推出的DGX-2為例,該系統內建六個電源供應器,每個電源供應器的最大輸出功率為3,000W,扣除冗餘、負載平衡等因素後,一台DGX-2系統的最大耗電量為10kW。 通常1U伺服器的功耗多半落在400~800W區間,逼近1kW的1U伺服器並不多見。DGX-2的外觀尺寸為10U,換算下來,DGX-2的電源密度要比典型伺服器高出一截,是顯而易見的。 Mazsa指出,為了解決這個問題,DGX-2電源採用三相交流電源輸入,而非380V直流輸入。他相信,對於專為人工智慧或高效能運算所設計的運算設備,其所採用的電源未來都將朝這個方向發展。 為了因應此一趨勢,Vicor近期發表一款三相AC-DC轉換器模組,其外觀尺寸為9.4x5.9x0.6英吋(24x15x1.5公厘),外觀採用平整設計,看起來就像是一台平板電腦,因此該公司將這款產品命名為Power Tablet。該模組可提供10kW的穩壓48V直流輸出,並整合濾波功能與故障保護,可提供一組含功率因數校正的穩壓、隔離式DC輸出。電力輸入方面,該模組可接受的輸入電壓為200~480V,涵蓋世界各地的三相AC輸入電源規格。 Mazsa表示,採用平板設計可實現前所未有的功率密度及熱處理靈活性。例如,4個並聯的Power Tablet(包括輸入斷開電路、整流和48V蓄能等)就可在1U的機架空間內提供40kW功率,而且更容易與先進散熱技術,包括液冷散熱等搭配使用,提供良好的散熱管理,可滿足高性能運算以及人工智慧推論、學習應用的需求。
0

Xilinx AI轉型拉攏資料中心 劍指Intel、NVIDIA

自行調適與智慧運算廠商賽靈思(Xilinx),多年來以可編程邏輯元件技術立足產業,為了在人工智慧(AI)的創新浪潮中注入下一波成長動能,啟動成立以來最大規模的轉型工程,並在日前的北京賽靈思開發者大會(XDF)中,積極與大陸雲端服務業者華為、阿里巴巴、浪潮等公司合作,搶占AI運算/推論市場,與布局較早的GPU、CPU競逐雲端AI應用大餅。 FPGA最大的特點就是靈活的可程式化與高運算能力,過去常被用在需要高運算效能或創新應用尚未發展出適合的ASIC時,面對AI浪潮席捲,AI無所不在的時代即將來臨,為搶占廣大的深度學習網路運算市場,各類運算平台積極布局AI運算,包括Intel為首的CPU、NVIDIA為主的GPU,FPGA龍頭Xilinx也投入,雲端AI運算市場競爭激烈,各家廠商積極合縱連橫布局產業生態系(ecosystem)。 以投入較早的NVIDIA為例,目前在AI競爭當中取得暫時的領先,該公司目前已經發展一系列的硬體晶片與板卡,搭配完善的開發環境、AI深度學習框架、軟體函式庫等,產業鏈初具型態;而昔日資訊運算霸主Intel,近年則是透過許多投資與併購,希望能扭轉CPU不適合深度學習運算的劣勢。相較之下起步較晚的Xilinx今年大動作投入,走向平台化並創建自行調適運算加速平台(Adaptive Compute Acceleration Platform, ACAP),Xilinx總裁暨執行長Victor Peng表示,首款產品Versal就採用最先進的台積電7奈米FinFET製程。 在北京XDF Peng強調,ACAP可以透過彈性化的調整,協助整體應用的加速,縮短執行時間,而不是只最佳化機器學習流程。Versal將發展成一系列的產品解決方案,包括應用廣泛的Prime、強化推論功能的AI Core、低功耗的AI Edge、高速傳輸的Premium、整合RF功能的AI RF、整合記憶體堆疊,應用在高階資料中心的HBM。 而在這個階段,Xilinx也以資料中心為其發展的優先戰略,XDF中並與中國大型雲端服務業者華為、阿里巴巴、浪潮結盟。華為智能計算業務副總裁張小華說明,採用華為雲技術,華為硬體以及Xilinx FPGA,建構一套統一的線上線下協同平台,採用相同的生態系統、環境資料、共同的安全協議以及管理協議。 阿里巴巴FPGA異構計算研發總監張振祥則說,阿里雲FPGA已經發展到第三代產品與架構服務,隨著未來新架構上市,當能提供更迅速更確實並安全的運算服務。浪潮集團副總裁李金指出,該公司致力於打造AI全面性的產品布局,從運算平台高效的管理系統套件到深度學習框架的最佳化、終端解決方案四個層次為客戶提供迅速、高效、最佳化的AI運算基礎設施。
0
- Advertisement -
- Advertisement -

最新文章

- Advertisement -

熱門文章

- Advertisement -

編輯推薦

- Advertisement -