AI
AI發展歷久彌新 推論晶片商機展露
圖1 人工智慧的第三波熱潮。
資料來源:http://www.technologystories.org/ai-evolution/
人工智慧的運用分成兩個階段,一是學習訓練階段,二是推論(或稱推算、推理)階段,此與應用程式相類似,程式開發階段即為學習訓練階段,程式正式上線執行運作則為推論階段。開發即是船艦在船塢內打造或維修,執行則為船艦出海航行作業執勤(圖2)。
圖2 人工智慧訓練與推論的差別。
資料來源:https://blogs.nvidia.com/blog/2016/08/22/difference-deep-learning-training-inference-ai/
訓練與推論階段對運算的要求有所不同,訓練階段需要大量繁複的運算,且為了讓人工智慧模型獲得更佳的參數調整數據,運算的精準細膩度較高,而推論階段則相反,模型已經訓練完成,不再需要龐大運算量,且為了儘快獲得推論結果,允許以較低的精度運算。
例如一個貓臉辨識應用,訓練階段要先提供成千上萬張各種帶有貓臉的照片來訓練,並從中抓出各種細膩辨識特點,但真正設置在前端負責辨識來者是否為貓的推論運算,只是辨識單張臉,運算量小,且可能已簡化特徵,只要簡單快速運算即可得到結果(是貓或不是)。
推論專用晶片需求顯現
對於人工智慧的訓練、推論運算,近年來已普遍使用CPU之外的晶片來加速,例如GPGPU、FPGA、ASIC等,特別是GPGPU為多,原因在於GPGPU的高階軟體生態較為完備、可支援多種人工智慧框架(Framework),相對的FPGA需要熟悉低階硬體電路者方能開發,而ASIC通常只針對限定的軟體或框架最佳化(表1)。雖然FPGA與ASIC較有難度與限制,但仍有科技大廠願意投入,如Microsoft即主張用FPGA執行人工智慧運算,Google則針對TensorFlow人工智慧框架開發ASIC,即Cloud TPU晶片。
人工智慧模型的開發(訓練)與執行(推論)過往多使用同一晶片,用該晶片執行訓練運算後也用該晶片執行推論運算。但近1、2年來隨著訓練成果逐漸增多,成熟的人工智慧模型逐漸普及,以相同晶片負責推論運算的缺點逐漸浮現。以GPGPU而言,晶片內具備大量的平行運算單元是針對遊戲繪圖、專業繪圖或高效能運算而設計,可運算32、64位元浮點數,這在人工智慧模型訓練階段亦適用,但到推論階段,可能只需16位元浮點、16位元整數、8位元整數等運算即可求出推論結果,甚至是4位元整數便足夠。如此過往的高精度大量平行運算單元便大材小用,電路與功耗均有所浪費,所以需要人工智慧的推論專用處理晶片。
半導體廠紛發展推論晶片
推論晶片的需求在人工智慧重新倡議後的2年開始浮現,但在此之前已有若干產品,如2014年Google對外揭露的探戈專案(Project Tango)即使用Movidius公司的Myriad晶片(圖3)。
圖3 Intel Movidius Myriad X晶片
資料來源:Intel
Movidius之後於2016年推出Myriad 2晶片,同樣也在2016年,Intel購併Movidius取得Myriad 1/2系列晶片,並接續推出Myriad X晶片。Google除探戈專案外其他硬體也採用Intel/Movidius晶片,如2017年的Google Clips人工智慧攝影機、2018年Google AIY Vision人工智慧視覺應用開發套件等。
不過真正受業界矚目的仍在2018年,包含NVIDIA推出T4晶片(嚴格而論是已帶晶片的加速介面卡)(圖4)、Google推出Edge TPU晶片(圖5),以及Amazon Web Services在2018年11月宣告將在2019年推出Inferentia晶片,均為推論型晶片。
圖4 NVIDIA展示T4介面卡
資料來源:NVIDIA
圖5 Google Edge TPU小於一美分銅板。
圖片來源:Google
另外,臉書(Facebook)也已經意識到各形各色的推論型晶片將會在未來幾年內紛紛出籠,為了避免硬體的多元分歧使軟體支援困難,因此提出Glow編譯器構想,期望各人工智慧晶片商能一致支援該編譯標準,目前Intel、Cadence、Marvell、Qualcomm、Esperanto Technologies(人工智慧晶片新創業者)均表態支持。
與此同時,臉書也坦承開發自有人工智慧晶片中,並且將與Intel技術合作;目前臉書技術高層已經表示其晶片與Google TPU不相同,但是無法透露更多相關的技術細節。而Intel除了在2016年購併Movidius之外,在同一年也購併了另一家人工智慧技術業者Nervana System,Intel也將以Nervana的技術發展推論晶片。
推論晶片不單大廠受吸引投入新創業者也一樣積極,Habana Labs在2018年9月對特定客戶提供其推論晶片HL-1000的工程樣品,後續將以該晶片為基礎產製PCIe介面的推論加速卡,代號Goya。Habana Labs宣稱HL-1000是目前業界最快速的推論晶片(圖6)。
圖6 Habana Labs除推出HL-1000推論晶片Goya外也推出訓練晶片Gaudi。
資料來源:https://www.convergedigest.com/2018/09/interview-habana-labs-targets-ai.html
雲端機房/快速反應 推論晶片可分兩種取向
透過前述可了解諸多業者均已投入發展推論晶片,然嚴格而論推論晶片可分成兩種取向,一是追求更佳的雲端機房效率,另一是更快速即時反應。前者是將推論晶片安置於雲端機房,以全職專精方式執行推論運算,與訓練、推論雙用型的晶片相比,更省機房空間、電能與成本,如NVIDIA T4。
後者則是將推論晶片設置於現場,例如配置於物聯網閘道器、門禁攝影機內、車用電腦上,進行即時的影像物件辨識,如Intel...
專訪耐能科技創始人兼執行長劉峻誠 耐能新款晶片開啟更多AI應用
耐能創始人兼執行長劉峻誠於發布會上提出「Edge AI Net」的概念,他表示,透過新推出的KL520晶片,期能夠將生命賦予終端設備,實現去中心化、離線本地處理、主動智慧等目標;而耐能也因此成功實現AI在雲端及離線終端上的互補,完成從提供IP到AI晶片的新里程碑,開啟AI應用於不同層面的更多可能性。
據悉,新推出的KL520晶片,具備「可重組式人工智慧神經網路技術」,會根據不同任務進行重組,減少運算複雜度,保證在不同的卷積神經網路(CNN)模型上的使用,無論是模型內核(Kernel)大小的變化、模型規模的變化,還是影像輸入大小的變化,都能保持高效率使用運算(MAC)單元。
此外,該產品也可滿足高效運算需求,其數據格式按運算需求靈活調整,致使在計算過程中實現更高的「數據計算vs.數據讀寫」比例,減少記憶體數據搬運的能量耗損。同時,透過耐能模型壓縮技術可有效減小模型大小,大幅降低在終端部署時的儲存成本,也大幅降低了記憶體頻寬的需求,並可提供較為通用,可同時支持語音及2D、3D影像的AI需求。
KL520晶片其餘特色還包括:低功耗(平均功耗僅300~500mW)、體積小;算力最高可達350GOPS,可作為協處理器使用,增加系統端的AI運算能力,毋須更換主晶片,即可快速於系統端導入智慧應用;適用於結構光、雙目視覺、ToF及耐能自主開發的輕量級3D感測技術等。
目前該晶片甫推出便獲得多家合作夥伴採用,包含鈺創科技、鈺立微電子、奇景光電、研揚科技、全科科技、和碩科技等。劉峻誠透露,未來將持續與戰略伙伴合作,落實產業應用,而2019年第四季還會推出用於智慧安防市場的第二款AI晶片。
耐能創始人兼執行長劉峻誠提出「Edge AI Net」的概念,期能藉此開啟AI應用於不同層面的更多可能性。
美光積極布局AI 促進強化邊緣運算
預估全球傳輸、儲存、分析的數據量將於九年內成長十倍,至2023年時將達到103ZB。面對如此龐大的數據量,如何將其轉化為資訊並從中挖掘有用的洞見將是一項難題,而人工智慧(AI)在數據分析的過程扮演要角。美光於2019台北國際電腦展Computex上,表示將積極布局人工智慧領域,並讓運算更靠近邊緣。
美光運算與網路業務部門資深副總裁暨總經理Thomas T. Eby表示,美光本身就是人工智慧應用的最佳案例。透過導入人工智慧至生產廠區,美光得以增加生產良率、促進工作環境安全與提升整體效能。美光引入人工智慧打造智慧製造,所得到的成果包括達到成熟良率的時間縮短25%、提升晶圓產出10%以及不良率減少35%,效果顯著。
同時,Thomas T. Eby也提到,隨著運算越來越異質化,人工智慧在邊緣運算的重要性就更高。以前的資料中心以CPU為中心,現在則趨向異質化,有CPU、GPU、FPGA等等,在邊緣運算已經是大勢所趨。美光提供全面的解決方案,讓運算更靠近記憶體,甚至在記憶體中運算,以配合現在資料中心的需求。
Thomas T. Eby進一步指出,根據美光委託Forrester訪問建構人工智慧平台的工程師和IT專家的結果顯示,開發人工智慧系統時,首要考量並非運算,而是如何打造記憶體與儲存架構以滿足龐大運算需求。報告中有超過九成的受訪者表示,記憶體與儲存架構攸關開發人工智慧系統的成敗,儲存與記憶體吞吐量的重要性更勝於運算,且運算與記憶體間的距離越來越近。
在自駕車的記憶體需求方面,Thomas T. Eby也表示,未來每輛L5級自駕車,將會配置8~12個解析度高達4K~8K的顯示螢幕,而為了支援V2X 連結,記憶體每秒需處理0.5~1 TB的數據量,在車內娛樂系統方面,記憶體頻寬需求每秒也將達150~300 GB。未來自駕車將會像飛機一樣有黑盒子,以每30秒持續錄製片段,紀錄車內外狀況,因此記憶體頻寬需求每秒也達到1 GB。此外,在車輛生命週期中,會重複寫入的數據加起來將有150 PB(Petabyte),所以對記憶體與儲存的效能與耐用性要求會特別高。
2019年台北國際電腦展展現全球科技生態系前瞻動能
2019年台北國際電腦展(COMPUTEX 2019)於5/28~6/1登場,總統蔡英文、經濟部部長沈榮津、行政院政務委員龔明鑫、臺北市政府副市長鄧家基、經濟部國際貿易局局長楊珍妮、經濟部中小企業處處長何晉滄、經濟部工業局副局長楊志清、科技部產學及園區業務司司長邱求慧、中華民國對外貿易發展協會董事長黃志芳、台北市電腦公會理事長童子賢、最大外商代表美國在台協會處長酈英傑、InnoVEX展區最大外商代表荷蘭恩荷芬市市長John Jorritsma與台灣智慧型紡織品協會理事長林瑞岳等重要貴賓皆於開幕時親臨現場,共揭COMPUTEX 2019序幕。
總統蔡英文表示,COMPUTEX是全球資通訊產業最具代表性盛事之一,39年來持續引領科技進程,各項展出就像將科幻小說搬到現實世界;而不斷挑戰科技極限的創新應用,也能完整呈現在InnoVEX創新與新創展區,實現科技帶來的無限可能。台灣擁有的技術、智慧財產權,與人才質量等領先的優勢,透過COMPUTEX全方位的國際展會與媒合平台,整合在地與全球資源,展現科技生態系前瞻動能。
外貿協會董事長黃志芳指出,數位浪潮席捲全球每個經濟體,帶動各產業積極投入數位轉型,以提升競爭力。身為全球領先的資通訊展會,外貿協會期許COMPUTEX能夠成為各產業轉型升級的數位入口平台,並透過廣邀金融、農業、製造等產業先進共襄盛舉,在COMPUTEX的五天展期間親身體驗尖端技術,見證科技帶來的智慧未來,並從中探索適合的數位轉型解決方案,期待所有數位夢想皆得以在COMPUTEX實現。
COMPUTEX 2019聚焦「人工智慧與物聯網(AI & IoT)」、5G、區塊鏈、創新與新創(Innovations & Startups)及電競與延展實境(Gaming & XR)等五大主題,聚集1,685家國內外廠商參展,使用較去年多近10%的攤位,於台北世貿中心一館、台北國際會議中心、台北南港展覽館1館、以及今年首度啟用的南港展覽館2館同步展出,完整呈現全球科技產業生態系的前瞻發展風貌。
除了豐富多元的展覽內容,COMPUTEX 2019期間有多場論壇同步舉行,像是InnoVEX論壇引領與會者從全球新創趨勢,洞見臺灣未來展望,而首度結合公益的ZOTAC CUP英雄聯盟慈善盃及世界盃超頻大賽等重要競技賽事,也在COMPUTEX 2019期間決選出最終冠軍得主。
耐能智慧AI晶片實現3D人工智慧方案
人工智慧(AI)產業已經成為全球科技巨擘的下一個兵家必爭之地,令人驕傲的是,台灣在這一波浪潮中並沒有缺席,不到四十歲、生於台灣的劉峻誠創辦了AI公司耐能智慧(Kneron),並獲得奇景光電、阿里巴巴創業者基金、中華開發、李嘉誠旗下維港投資、高通等頂尖投資者支持,推出一款震撼業界的3D人工智慧解決方案。
耐能發表首款名為KL520的AI晶片系列,將神經網路處理器的功耗降至數百mW等級,為各種終端硬件提供高效靈活的AI功能,其中一項高精準度的3D人臉辨識功能,可達到高解析圖片、影像、3D列印模型、蠟像均無法破解的技術水平。
KL520 晶片甫投入市場,即獲得全球知名企業青睞,包括世界級記憶體IC設計廠商鈺創及其專精3D深度圖之夥伴公司鈺立微電子、納斯達克上市企業奇景光電、工業電腦大廠研揚科技、專業通訊元件設計及通路商全科科技、國際知名ODM廠商和碩聯合科技、以及大唐半導體、奧比中光等。透過KL520的AI運算能力,將各類產品效能全面提升。
率先與耐能合作的奇景光電,執行長吳炳昌表示,耐能先進的人臉辨識算法,與奇景開發的SLiM 3D感測解決方案整合,提供給安防領域最佳的3D人工智慧方案,兩強聯手必定能讓3D人工智慧在安防領域發揮更大的作用和價值。
耐能的獨特技術,在於研發出一款高效率、低功耗的AI晶片,把AI運算的場域從雲端轉移至終端設備,不僅能達到即時辨識與判斷,同時還提供軟硬體結合的解決方案。
另外,KL520晶片的可重組式人工智慧神經網路技術,會根據不同任務進行重組,減少運算複雜度,保證在不同的卷積神經網路(CNN)模型上的使用,無論是模型內核(kernel)大小的變化、模型規模的變化,還是影像輸入大小的變化,耐能AI晶片都能保持高效率使用運算(MAC)單元。
耐能的AI晶片成功實現高效運算,數據格式按運算需求靈活調整,致使在計算過程中實現極高的「數據計算vs. 數據讀寫」比例,減少記憶體數據搬運的能量耗損;同時,耐能模型壓縮技術可有效減小模型大小,大幅降低在終端部署時的儲存成本,也大幅降低了記憶體頻寬的需求,並可提供較為通用,可同時支持語音及2D、3D影像的AI需求。
這堪稱是AI發展上的一個大躍進。Kneron成功實現人工智慧在雲端及離線終端上的互補,完成從提供IP到AI晶片的新里程碑,也開啟了人工智慧應用於不同層面的無限可能。
建構完善生態圈 騰訊要讓AI無所不在
由於組織過於龐大,自2012年開始,騰訊根據管理顧問公司麥肯錫的建議,將組織梳理重組成了7個事業群,現有業務劃分成企業發展事業群、互動娛樂事業群、移動網際網路事業群、網絡媒體事業群、社交網絡事業群,技術工程事業群、微信事業群,後續因應組織調整,將移動網路、網絡媒體、社教網絡三個事業體合併成平台與內容事業體,統整騰訊業務資源。
為因應未來的人工智慧以及5G的發展,騰訊進行組織架構的調整,整合平台與內容事業群,並在2016年於技術工程事業群下成立人工智慧研究團隊AI Lab,成為騰訊各事業相關AI技術的發展團隊,透過平台與內容的整合,讓AI的應用更加多元;騰訊的組織也在不斷的擴大,現階段的騰訊不僅擁有平台(內容)、微信(社交)、互動娛樂(遊戲)等大數據以及AI可應用場域,並且透過異業合作發展至零售、醫療、教育等產業。
騰訊建立AI生態圈 壯大陣營影響力
騰訊在AI的技術團隊主要有三個,分別為「Tencent AI Lab」、「優圖實驗室」、「微信AI」,皆為騰訊重要的AI技術團隊,其中「Tencent AI Lab」較偏學術領域的研究團隊,「優圖實驗室」則是專注在圖像處理、人臉辨識等技術,「微信AI」則是語音識別、翻譯等與微信通訊軟體相關的應用。
為實現AI無所不在的戰略,騰訊欲建立AI的生態圈,透過AI開放平台,讓各業者皆能夠加入騰訊AI的生態體系中,開放技術、市場、資金、空間、人才等資源吸引合作夥伴加入,壯大騰訊陣營的影響力。
騰訊要讓AI無所不在,因此積極建構生態圈,拓展各式應用。
圖片來源:騰訊
技術共享為生態系發展基石
騰訊AI生態系強調技術共享的概念,AI開放平台上提供包含視覺、翻譯、圖片辨識、語意語言判讀等技術,讓騰訊的產品、合作業者能夠透過此平台產生新的技術應用,進入騰訊的AI生態體系內,而平台內技術的提供大多是由AI Lab所研發,在圖片識別相關的應用則是透過騰訊「優圖實驗室」提供,騰訊以這兩個AI技術單位作為整體AI生態體系發展的基石。
騰訊AI開放平台成為騰訊與眾多業者建立生態體系的串接橋梁,透過技術合作發展出跨領域的產品,目前的應用在於硬體以及人事系統上,推出多種場景應用的智慧硬體及智慧招聘系統。
智慧硬體拓展應用
騰訊具備有技術團隊以及大量的客戶數據等資源,各業者透過與騰訊的技術介接,以拓展各種場景的應用,並共同推出軟硬整合的實體產品,其合作對象包括香格里拉飯店、中國光大銀行、BMW等知名業者。
智慧招募更省時
在人才招募上,騰訊與新創公司倍羅(Bello)合作,透過語意解析的應用進行履歷的篩選,將人才分別歸類,並進行自動標籤,將不同來源的履歷自動標籤化,降低人工歸納整理的時程,並建立排名模型,能進行偏好設定;目前的合作夥伴包含創新工廠、Career Executive等。
倍羅為騰訊AI加速器所培育的業者,騰訊透過加速器讓更多具有潛力的新創業者也能進入AI生態系內,倍羅透過騰訊協助,不僅獲得資金與資源,也獲得更多資料/數據訓練其AI模型。
騰訊近年積極地進行AI領域的投資布局,主要分為騰訊AI加速器以及騰訊投資部門兩種資金類別,針對新創業者由騰訊AI開放平台底下的AI加速器,負責尋找具有潛力的新創業者,而騰訊投資部門則是針對業務合作對象投資,透過跨領域的合作讓騰訊的AI版圖更加龐大。
騰訊AI加速器的投資範圍相當廣泛,從醫療影像判斷、無人駕駛、語音辨識等,到各領域別的應用,如零售、藝術、能源,以及人像機器人等,騰訊皆有投資。在醫療領域中,主要朝向兩個方向,其一為提升準確度的AI醫療影像處理,其二為AI輔助醫生進行判斷,提高醫療品質。
騰訊AI的投資在機器人領域的比重相當高,大多應用在小型服務以及娛樂性質的應用上,而智慧交通則是選擇在美國以及中國大陸市場為主的成車業者,跨足高價以及中低價位的智慧汽車;智慧醫療領域上,應用在醫療圖像辨識以及新藥開放配比;而智慧生活則與騰訊的內容服務以及微信結合,增加其附加價值。
自2016年起,騰訊成立人工智慧技術團隊Tencent AI Lab,目的為從集團本身業務出發,增加人工智慧應用,如微信、QQ上增加智慧助理及客服機器人,在騰訊遊戲上增加圍棋AI應用等;而以AI技術而言,Tencent AI Lab透過與學術機構合作、學術論壇等機會,發展在AI領域的專利與技術,結合騰訊的平台與內容,讓AI應用更加多元。
而騰訊在微信的AI應用最為多元,在語音、音頻、自然語言、圖像、文件內容理解及分布式機器學習平台等,皆嘗試AI的應用,並成立微信AI團隊專門負責在行動裝置、即時通訊領域的AI專利及技術。
技術合作讓AI無所不在
騰訊建立AI生態系的概念,是以技術合作為基礎,透過AI技術串接為實現騰訊「讓AI無所不在」願景的重要環節,騰訊透過開源的方式,讓許多業者能夠介接騰訊在AI技術領域的研究成果,達到互利互惠。
而騰訊的AI技術是以「AI Lab」、「優圖實驗室」、「微信AI」三大實驗室為核心,其共享平台上提供程式碼、API文檔等,讓開發者能夠進行介接,開發者能選擇騰訊雲、AI開放平台、騰訊加速器上選擇不同的方案,目前主要方案為圖像辨識(光學字元辨識、人臉、圖像特效、圖像識別)、文意判讀(敏感訊息審核、智慧助理、翻譯)和語音等。
騰訊AI的合作方式大致可以粗分為兩種,一種為與騰訊目前既有的服務結合,達到跨領域的應用,另一種則是與騰訊AI技術以及各種資源結合,提供加值的服務。以真實科技以及新樂視智家而言,分別能在其硬體裝置上獲得騰訊所提供的服務,而以倍羅而言,該公司則是透過騰訊所提供的API訓練其履歷解析的精準度,騰訊透過釋放其資源,讓其服務範圍不斷的增加,建立起騰訊的AI生態體系。騰訊近年積極投資AI領域,綜合騰訊投資部門以及新創加速器的投資內容,主要的應用方向為機器人、智慧交通、智慧醫療等領域,此外也有投資少量的智慧電視以及穿戴式裝置、數據分析以及資訊安全等領域。
機器人領域投資多
以騰訊在AI領域的投資家數而言,以機器人的比例最多,將機器人的型態分成人型以及非人型的兩種類型,其中以非人型的機器人應用較為多元,以人型機器人而言,著重在於移動平衡以及完成人類的動作。
非人型機器人中,目前有競技比賽型的機器人,主要應用在娛樂的競技比賽中,如工匠社、Marble等。另一種應用則是在移動運輸裝置,通常用於取代外送人力、店內物流運輸上,外型大多類似推車的樣式,搭配密碼解完成交易流程,如雲跡科技。而人型機器人的發展方向主要有兩種,一種為模擬人類的動作,達到平衡穩定,如優必選,專注在完成人型機器人的各種動作,而另一種則是透過人型的樣式再加上語音助理等功能,達到陪伴、互動的效果,如Wonder Workshop。
騰訊也投資多種智慧交通領域的業者,目前投資了三家品牌電動汽車成車,從中低價位的蔚來及威馬汽車,以及特斯拉皆有投資,而在無人車方面的投資在低速清潔車中,如庫哇機器人,目前已經獲得首張商用自動駕駛的牌照。
騰訊所投資的醫療領域應用相當多元,有透過影像判別進行檢測的業者,如匯醫慧影應用在胸片、肺癌篩檢、骨折診斷,以及胸部斷層掃描、心臟冠狀動脈掃描的體速科技。也有應用在新藥比例成分配比,如Atomwise,目的為降低新藥配方的配置時間及成本。而醫療照護方面,透過數據分析提供使用者個人營養素攝取建議的碳雲智科技。以及學術研究方面,能夠將醫學相關文獻翻譯的艾特曼科技。
資策會MIC資深產業分析師童啟晟
AI應用推陳出新 賽靈思力轉靈活彈性平台發展
人工智慧(AI)快速成長,生活智慧化的變遷顯而易見,而要如何在變化多端AI市場中搶占商機,對此,FPGA供應商賽靈思(Xilinx)認為,面對AI的迅速發展,未來已不能倚靠單一架構滿足所有應用需求;且傳統的硬體設計方式及設計週期漸漸趕不上AI演算法(如深度學習、機器學習等)的推陳出新,因此,必須藉由靈活、彈性的平台架構才能滿足AI應用需求。
賽靈思大中華區業務副總裁唐曉蕾表示,AI興起,未來萬物互連、智慧生活的變化十分明顯。同時,各種以AI為基礎的商業模式迅速增加,例如監控、交通、醫療、工業等。
唐曉蕾說明,由此可見,AI應用相當多樣化,且屬性多不相同。也因此,在資料、記憶體結構、效能和精度上等方面都會出現客製化需求。以精度為例,有些應用需要99%甚至是99.9999%的精度,但有些應用則需97%的精度便已足夠。然而,97%和99%的精度雖然只差2%,但在運算資源需求上卻有著相當大的差異,因為要提升精度,須花費相當大的人力、物力和時間。也因此,在AI應用朝多元發展的態勢之下,為使運算時間、資源更有效率,應用業者不再只朝「最好」、「最強」發展,而是朝「最適合」,客製化需求由此而來,也因此,需要更彈性、靈活的設計平台。
賽靈思全球人工智慧市場資深技術專家張帆也指出,AI商業應用迅速增加,資料量以指數型成長,現有的運算架構已不敷使用。另外,由於各式AI創新應用不斷展露,也因此AI相關的訓練與推論呈現百花齊放的狀況,可說平均兩個星期到一個月就有一個全新的演算法提出,因此,更需要新一代具高效能、且彈性靈活的架構來因應這此一狀況,滿足AI演算法和應用。
為此,賽靈思便積極轉型,將自身定位成靈活、彈性的系統平台供應及服務業者,而不再只是單純的可編程技術/硬體供應商,例如之前所發布的Versal ACAP平台便是其中一個例子。
唐曉蕾透露,Versal字面上是由Variety與Universal組合而成,希望在技術與應用上可以兼顧多樣性與通用性。賽靈思未來的目標是打造靈活應變、萬物智慧的AIoT世界,而該平台具備括靈活可配置、可編程、高效能、低功耗的晶片架構設計等特性;同時可靈活支援低位元運算,提供端到端、低延遲運算,並擁有可拓展性的產品系列,有助於開發各種創新應用。該產品預計將在2019年第四季提供樣品,2020年初正式量產,期能藉此加速新興AI應用發展,實現在六個月內完成原型驗證,一年內產品上市的目標。
萬物智慧化驅動半導體成長 EDA工具角色更吃重
新思科技(Synopsys)近日舉辦SNUG Taiwan 2019研討會,主題涵蓋以EDA縮短晶片設計時程與AIoT兩大議題。此外,該研討會還邀請了20家半導體廠商發表設計研究心得,並舉行多達40餘場IC設計相關技術發展的專題講座。新思也透過這次研討會說明其最新的Fusion Design Platform、TestMAX、機器學習(Machine Learning)與硬體模擬(Emulation)等解決方案。
新思科技設計事業群聯席總經理Deirdre Hanford表示,各種智慧應用的蓬勃發展,是帶動半導體產業成長的主要動力來源,但這個趨勢也使得晶片設計變得更加複雜,晶片開發者必須要有新的設計工具輔助,才能趕得上客戶要求的產品上市時程。
為此,新思推出了融合設計平台(Fusion Design Platform),並在推出的第一年即達到超過100個產品投片(Tapeout),寫下7奈米製程的重要里程碑。該平台協助客戶提升20%的設計結果品質(Quality-of-Results,QoR),並達到超過2倍的結果效率(Time-to-Results,TTR)。融合設計平台整合新思科技的數位設計工具,並重新定義傳統設計工具的範疇,包括共享引擎、用於邏輯及物理表現(Logical and physical representation)的單一數據模型。
此外,新思也與安謀國際(Arm)擴展合作關係,推出支援新思Fusion Compiler解決方案的QuickStart實作套件(QIK)。這是一個從RTL到GDSII完全整合的實作系統,可讓採用Arm架構的SoC設計達到最快速的結果效率,並改善功耗、效能與晶片面積,能快速實現具備安謀最新核心架構的高度差異化產品。這項合作已讓採用內含Cortex-A76與Neoverse N1處理器的SoC先期用戶,成功實現投片。
而為了協助推動AIoT晶片研發,新思在台灣也已經與台灣大學、清華大學、交通大學、中央大學以及成功大學等五所頂尖大學共同啟動「AIoT設計實驗室」產學合作計劃,捐贈各校晶片開發核心套件與人工智慧/機器學習教材(AI/Machine learning),以誘發學界對於AIoT設計的強大研發能量,並培育先進半導體設計人才。
新思科技一直是台灣半導體產業發展的重要策略夥伴,持續引進創新技術協助客戶突破研發瓶頸,並推動產官學研緊密合作,除了AIoT設計實驗室合作計畫,新思科技也積極參與科技部「半導體射月計畫」、「AI創新研究中心」以及「博士創新之星計畫」,還捐贈資策會「國際微電子學程」,並參與教育部「國際積體電路電腦輔助設計軟體製作競賽(ICCAD Contest)」之平台開發組競賽等產學交流計畫等,提升台灣半導體設計的研發能量。
乘深度/機器學習浪潮 AI智慧監控應用興
根據市場研究機構Marketsandmarkets指出,影像監控的市場產值,將以每年13.1%複合成長率的速度成長,從2018年的368.9億美元,成長至2023年的683.4億美元。而機器學習(ML)與深度學習(Deep Learning)等AI技術,更將是提升監控系統效能,使其實現更多應用的最大關鍵。
邊緣監控應用起 晶片運算需求增
機器學習可被訓練,以識別模式、形狀、顏色、聲音、振動、溫度以及壓力等細微差別和差異,這對於即時檢測和識別十分重要,使得臉部辨識應用日益完善,以進行高級識別、驗證、搜索、預防和救援。至於深度學習,透過大量的監控影像和訓練之後,搭載深度學習的監控系統便可有效的進行對象和行為模式分析,進而提供更有效的數據。而隨著機器學習、深度學習等AI技術興起之後,AI監控應用也隨之浮現。
國立交通大學資訊工程學系教授兼網路研究所所長易志偉(圖1)表示,AI技術(如深度學習)的優勢在於,可降低影像處理的門檻,使得影像資料分析不再是一件複雜的工作,進而依此衍生出更多創新的應用,例如無人商店的AI監控應用便是其中一個例子。
圖1 國立交通大學資訊工程學系教授兼網路研究所所長易志偉表示,深度學習減低影像處理複雜度,得以實現各種影像創新應用。
易志偉說明,像是7-11所推出的X-Store,有著自助結帳櫃檯,需要先透過臉部辨識系統確認個人身分後,再以icash2.0靠卡付款;而在進入商店時也需透過臉部辨識系統建立會員。當然,除了無人商店外,智慧監控還可應用在許多地方,例如透過攝影機錄下羽球選手各個動作,像擊球、腳步移動、球的落點位置等,再進行資料分析,以提升選手的訓練效率。
賽靈思全球人工智慧解決方案市場行銷總監劉競秀(圖2)指出,到了行動物聯網時代,聯網設備的數量將大幅超過人口數量;而隨著AI興起,未來勢將走向AI+IoT的趨勢,像是智慧監控攝影機、自動駕駛汽車、智慧音箱、智慧家電等。換言之,日後這些設備將具備一定的運算能力,使其能透過本地推論、訓練,做出更準確的分析以改變人類日常生活。
圖2 賽靈思全球人工智慧解決方案市場行銷總監劉競秀指出,如何研發靈活、高效,且高性價比的AI解決方案是目前各大AI晶片供應商共同努力的方向。
劉競秀說明,不過,要實現AIoT的挑戰在於不同的應用場景需要不同的運算效能。例如自駕車需要在很短時間內對周遭環境進行檢測並做出判斷,這時候晶片的運算效能及資訊傳輸就必須相當迅速;然而,若是網路監控攝影機的話,由於其需長時間運作,進行長期監控,其對晶片的要求除了具備一定的運算能力外,還需要低功耗,避免過熱當機。
劉競秀指出,也因此,如何針對不同的應用場景提供靈活、高效,且高性價比的AI解決方案,是目前AI晶片供應業者致力發展的方向;而賽靈思便透過靈活性較高的FPGA協助產業盡速導入AI,實現更智慧的應用。例如賽靈思所推出的自行調適運算加速平台「ACAP」,能針對各種應用與工作負載需求,從硬體層面進行靈活變化。
據悉,在ACAP核心內有個全新世代的FPGA架構,其結合分散式記憶體與硬體可編程DSP模組、一顆多核心SoC,以及一個或多個軟體可編程且硬體自行調適的運算引擎,上述元件皆透過網路晶片(NoC)串連。此外,ACAP具高度整合的可編程I/O功能,依據不同元件類型,其功能涵蓋整合的硬體可編程記憶體控制器、先進的串列器技術、具領導地位的邊緣RF-ADC/DAC,到整合的高階頻寬記憶體(HBM)。
除了ACAP之外,賽靈思還具有DNNDK(Deep Neural Network Development Kit),其為深鑒科技所研發的AI異構計算平台DPU。
透過自主研發的原創深度學習SDK,涵蓋了神經網路Inference階段模型壓縮、編譯優化和高效運行時支持等各種功能需求,為深度學習應用開發和部署提供一套高效的解決方案。
耐能智慧(Kneron)產品行銷暨應用協理史亞倫(圖3)則指出,AI從雲端走到邊緣裝置的趨勢十分明顯,終端裝置有了AI運算能力之後,再跟雲端搭配,可以降低資料傳輸、運算分析的延遲性,不僅可實現更多創新應用,還可降低終端裝置與雲端間的連網布建成本。
圖3 耐能智慧產品行銷暨應用協理史亞倫透露,智慧監控開始從雲端走向終端,裝置中的處理器除須有高效能外,同時也須符合功耗和成本考量,為此,耐能採用NPU解決方案。
因應智慧監控需求,耐能備有新一代終端AI處理器系列NPU IP,其分為超低功耗版KDP 320、標準版KDP 520,以及高效能版KDP 720。此一處理器整體運算效能相較上一代產品提升三倍,運算能力(Peak Throughput)最高可達5.8 TOPS(每秒萬億次運算)。
據悉,新系列產品特色包括交錯式運算架構,讓神經網路架構中主要的卷積(Convolution)與池化(Pooling)運算可平行進行,提升整體運算效率;深度壓縮技術,可執行模型和運行中的資料和參數(Coefficient)進行壓縮,減少記憶體使用;動態儲存資源配置,讓共享記憶體(Shared Memory)和運作記憶體(Operating Memory)之間可以進行更有效的資源配置,提升儲存資源利用率且不影響運算效能;以及支援更廣泛的CNN模型。
史亞倫說明,邊緣運算應用十分多元,以智慧監控而言,不論是零售、交通、商業建築、安防等都會用到,且在各個領域中又細分無數個應用場景;有的需要精準人臉辨識,有的只須進行簡單車牌識別。因此,並非每個應用場景都須採用頂級、具超高運算能力的CPU、GPU或是DSP,否則會不符成本需求。
史亞倫進一步說明,因此,該公司便決定打造低功耗的NPU處理器。原因在於NPU處理器可說是專為深度學習設計,十分適合AI神經網路運算,並且有更多設計彈性。另外,有了低功耗、成本相對較低,同時還能進行邊緣AI應用的NPU晶片後,可讓市場有更多選擇,滿足對成本有較多考量的業者。
物聯網設備大增 資安防護不可少
物聯網和AI的興起,帶動許多創新應用興起,AI監控便是其中一例。然而,在使用AI監控提升安防效率之時,如何確保AI設備的資安,使其不被駭客竊取機密的資料,也十分重要。
台灣資通產業標準協會(TAICS)網路與資訊安全技術工作委員會技術長劉作仁(圖4)表示,物聯網應用和雲端息息相關,就連AI監控也不例外。使用者的裝置可以透過連線的方式,在雲端與終端裝置之間下載、上傳資料;而在這資料傳輸的過程之中,要如何實現完善的加密保護,是目前物聯網發展的重點。
圖4 TAICS網路與資訊安全技術工作委員會技術長劉作仁說明,物聯網應用和雲端息息相關,在資料傳輸的過程中,完善的加密保護可說相當重要。
為此,TAICS推動物聯網資安認驗證制度,期能落實各類型物聯網資安測試規範,推行物聯網產品與設備商落實資安檢測;並透過推動物聯網資安驗證制度,強化物聯網安全;最後則是建立物聯網資安標章制度,使消費者易於識別通過本資安驗證制度檢測之物聯網設備。
據悉,此一制度將先以與個人隱私息息相關的有線/無線網路攝影機為主,後續將會陸續針對其它各種物聯網設備。TAICS指出,物聯網盛行,使日常用品皆朝向數位化邁進,影像監控設備也是其中之一,但網路攻擊事件也隨之而來。有鑑於此,經濟部工業局與TAICS共同制定一系列針對影像監控系統中聯網設備之資安標準及測驗規範。
IBM大談認知製造框架 啟動「由內而外」數位轉型
為協助台灣製造業加速實現數位轉型,邁向工業4.0,IBM提出「認知製造框架」觀點,以企業內資料為基礎「由內而外」,並採用IBM Garage、Design Thinking與敏捷開發等方法,結合人工智慧(AI)、物聯網(IoT)、自動化與區塊鏈等技術,進而實現「智慧產品」、「智慧營運」與「智慧工廠」三大層級目標。
台灣IBM全球企業諮詢服務事業群副總經理陳世祥表示,過去幾年企業所談論的數位轉型,多以因應客戶、市場需求為主的「隨機式數位轉型」;而這種轉型,多稱為「由外而內」,也就是為了滿足不斷變化的客戶期望而產生的數位再造需求。
陳世祥指出,然而,隨著AI、IoT、自動化、5G、區塊鏈等新興技術興起,過去風行的「由外而內的數位轉型也開始出現變化,趨向於利用這些新興技術,「由內而外」發揮企業內原有資料的潛力,創造新成果、重塑商業架構,這也是如今「認知型企業」的概念。而製造業擁有的大量生產數據以及複雜的製程經驗,是邁向「認知型企業」最合適的實踐產業;且在全球工業4.0如火如荼展開之時,台灣製造業的轉型更是刻不容緩。
據悉,IBM Garage為提供一站式,多元技術諮詢的雲端轉型服務,其包含AI、區塊鏈、數據分析、雲端技術等科技,致力協助企業做到兼顧成本控制與高效的企業系統轉型。
陳世祥進一步說明,以往IBM Garage、Design Thinking等方式多應用於商務(Commercial)領域中,而隨著全球工業4.0如火如荼的展開,為能加速數位轉型、實踐智慧化,製造業也應該導入上述方案,利用這樣的解決方案找到最有價值的方法,來啟動數位轉型。舉例而言,過往製造業要引進AI,可能需要花費9個月、10個月的時間;但透過Garage的方式,能有效的進行作業流程、系統的調整,將引進時間縮短至2~3個月。
IBM透露,認知製造框架觀點目前已獲多家企業採用。以智慧營運為例,聯想集團(Lenovo)採用認知供應鏈方案,在遇到供應鏈中斷時,能縮短響應時間至幾分鐘,並快速分析出受影響的訂單,減少營運成本並增加收益;而在智慧工廠方面,京瓷集團(KYOCERA)採用智慧工廠平台方案,提高了品質良率,預計2020年前,生產力將翻倍、整體銷售提升40%以上。