AI

第五波運算技術的匯集，像是人工智慧(AI)、5G 與物聯網(IoT)持續帶動令人驚訝的變化，並驅動全新的資料消費模型。在僅考量IoT的情況：即使還在發展初期，我們已經看到它褪去全球微型感測器網路的原始面貌，進一步擴展並包含所有高效能的端點：從智慧影像感測器到自駕車輛。 隨著IoT持續成長並帶動全球數位轉型，往上游雲端帶來巨大的資料海嘯，讓長期以來針對下游分配優化的網路基礎建設出現裂痕。它也驅動出一個迫切的需求，就是整個全球網際網路的架構，運算必須更為分散，因此對Arm Neoverse邊緣運算解決方案的需求也與日俱增。整個生態系統已經對這個挑戰作出回應，而針對我們過去一年內的進展，Neoverse已將過去的原始願景，轉換成今日能夠實現的應用。 展望未來，Arm將聚焦在為次世代的基礎設施科技奠定基礎，重點則擺在AI要如何才能更為分散。另外，隨著決策的要求朝邊緣移動，AI將扮演雙重的角色。除了依據資料本身包含的資訊作出及時決定外，當大量的資料需要導引至正確的位置時，AI從流量管理到封包檢驗都必須發揮功能。這同時是訓練與推論的問題，而傳統的電腦系統根本跟不上。傳統上在互聯網邊緣的網路橋接器現正迅速成為智慧運算平台，最終將導致我們稱為AI Edge的浮現，並在2025 年前為運算半導體潛在市場範圍(TAM)帶來高達300億美元的機會。 我們預計2035年達成的一兆個IoT裝置的世界，這將帶來全新規模的基礎設施與架構上的挑戰，技術也需要與時俱進才足以應付。在邊緣運算方面，這意謂 Arm將持續大量投資硬體、軟體與工具的開發，以便在基礎設施堆疊的每一個點，都賦予智慧決策能力。另一方面也說明在處理器層級與整個網路 - 從雲端到邊緣到端點裝置，將廣泛使用異質運算。

5G、人工智慧(AI)、各種實境技術與物聯網(IoT)的加速發展正在改變運算需求。要達到數位沉浸所需要的效能，將超越今天所具有的一切，並朝Total Compute的世界邁進。這需要在設計矽智財時採用非常不同的方法，重點必須深度聚焦在效能、安全性與開發人員存取性的優化。 未來需要的不會是更多現有的東西，而是思考方式的改變。Arm藉由矽智財、軟體乃至於工具內部以及彼此間的全面優化，從聚焦在產品演進轉移至使用案例與體驗導向的系統解決方案，以提供一個安全的基礎，並達成未來複雜運算挑戰所需的效能。 自從推出Cortex-A73後，Arm便逐步且逐世代地提升機器學習(ML)效能，努力大幅拓寬針對ML的CPU涵蓋。為了實現這個全新的數位世界，運算能力將被推升至全新的水準，因此Arm將Matrix Multiple(MatMul)加入新一代的Cortex CPU「Matterhorn」中，因為它與上一代CPU相比，ML效能可有效提升一倍。 除了CPU以外，還需要聚焦，並把Total Compute的方式應用到每一個運算要素，以及系統內的基礎建設。不管是Arm CPU、圖形處理器(GPU)或神經處理器 (NPU)、互連或系統矽智財，都必須優化成整合式的解決方案；而這必須仰賴軟體與工具，包括Arm類神經網路開發套件(Arm NN)、Arm運算函式庫(Arm Compute Library)、開放原始碼社群，以及開放的標準都必須建構在安全的基礎上。 Arm已經開始推出Memory Tagging Extensions(MTE)等創新安全功能並整合到 Total Compute 內，以迎合客戶的各種需求。事實上，Google最近剛宣布安卓裝置將與MTE設計合作的計劃。這些功能結合Arm的平台安全性架構，將可協助整個生態系統內安全性的標準化與重組。

Arm將於11月6日在台北萬豪酒店、11月7日新竹國賓大飯店舉辦2019 Arm 科技論壇。今年議程以「Drive Innovation with Arm Technology」為主軸，聚焦5G、物聯網(IoT)、人工智慧(AI)和機器學習(Machine Learning)等數位轉型的關鍵技術，完整重現美國聖荷西的年度最大技術年會Arm TechCon精華內容，更聯手產業夥伴以前瞻技術共創數位轉型創新動能。 隨著數據含金量持續攀升，尖端科技對高吞吐量運算技術和多裝置連接管理的需求遽增，2019 Arm科技論壇特別邀請Arm資深副總裁暨車用與物聯網事業部總經理Dipti Vachani，以及Arm資深副總裁暨物聯網雲端服務總經理Hima Mukkamala發表主題演講，分享Arm領先技術如何催化數位轉型的關鍵應用，激發從終端到雲端、從資料到平台的多元創新；業界重要意見領袖更將受邀針對關鍵科技發展趨勢進行深入剖析。 而在下午的分組議程中，Arm各事業部的技術專家以及產業夥伴將暢談趨勢洞見與先進技術，共同探討在5G前景下，如何應用高效能運算技術、解決方案、工具與平台安全架構等，打造創新科技新場域、改變人類生活。現場也將設置實機體驗區，讓與會者能近距離體驗前瞻技術的實際應用，一覽Arm與夥伴共建的生態系所驅動的數位轉型價值。 此外，台北場次將同步舉行第14屆Arm Design Contest設計競賽「Arm Idea,實現創意有意思」頒獎典禮，共有來自全台28所大專院校的百件參賽作品，在醫療保健、機械、運動與生活等多元領域發揮設計巧思，融合科技與人文關懷打造全新智慧應用。

5G的商業化進展帶來許多機會，而隨著各國陸續將5G商轉列為國家科技競爭力與國力的重要指標，積極推動5G產業化，聯發科身為台灣最重要的通訊晶片廠，多年前就已經投入技術研發，投資超過新台幣1,000億元，而率先推出5G SoC，且初代產品僅鎖定6GHz以下頻段，成為現階段市場上最成熟的5G晶片解決方案之一，協助聯發科在5G時代跨出成功的第一步，未來兩年的表現更備受期待。 各國力推5G產業化，中國大陸已經釋出四張5G執照，台灣也提前在12月10日進行第一波5G釋照，近日瑞信證券更新2020~2021年全球5G手機出貨預測，預估2020年5G手機出貨達1.76億支，比聯發科法說預估的1.4億支還高，2021年進一步增加到4.2億支；看好聯發科2020年5G晶片出貨量達3,000萬至7,500萬顆，因此連帶將其財測、股價目標價雙雙上修，聯發科已經成為5G指標概念股之一。 聯發科執行長蔡力行在2019年初新春茶會中對媒體承諾，將改善該公司營收毛利率達40%以上，並且5G的技術力與產品力都保持在領先群，時間僅過半年左右，這些目標已具體表現在該公司近期表現。聯發科通訊系統設計研發本部總經理黃合淇表示，從晶片設計商的各自晶片研發、生態圈共同研擬共通標準與測試規範、通訊設備商的技術驗證、通訊運營商的晶片驗證到消費者參與全面商轉的五大關鍵步驟，該公司投入研發累積近新台幣1,000億元在5G晶片的開發上，其中台灣就占了七成以上的人力；5G對聯發科是跨平台的機會，因其高頻寬、低延遲的特性，應用層面較4G廣，除了手機，各類物聯網、電視、汽車等也將是5G的應用範圍。而不管是新技術研發、參與5G國際標準制訂、產品上市時間，都比過往投入更多時間、人力與資金等資源。 券商看好聯發科的獲利表現，將因5G的發展持續亮眼，另外包括既有穩定的物聯網和ASIC業務推動下，2020、2021年表現均可達雙位數成長，預估近三年EPS將拾級而上為13元、19元及22元。黃合淇指出，面對5G時代，聯發科技於第一梯隊率先提供5G SoC，協助首批5G終端及時上市，加速5G生態體系成熟，將提供用戶更好的使用體驗；並推出3A策略，讓世界每個角落的人們都能用得著(Accessibility)、付得起(Affordability)、買得到(Availability)，期待大家都能受惠於5G所帶來的機會、提升及豐富大眾的生活。 聯發科寄望5G SoC將重新擦亮該公司的招牌 面對5G的技術躍升，大部分晶片廠都急於將高頻毫米波技術整進5G晶片組，因此多半遭遇產品效能與完成度瓶頸，黃合淇認為，6GHz以下中低頻產品因為與現有4G使用頻段較接近，相關零件與產業鏈相對成熟，重點在如何提供高整合度與低功耗的5G終端產品，讓消費者在享受高速傳輸的同時仍有與4G相近的手機尺寸及待機時間等；而毫米波頻段的物理特性造成了傳輸距離較短以及訊號容易受遮蔽的先天問題，除了陣列天線整合以及終端功耗更嚴重的問題，電信業者的網路布署以及手機波束控制如何讓毫米波接收訊號更穩定，且平滑的與中低頻訊號切換，都是商用布署過程中需要持續測試與調校的地方。也就是高頻毫米波的問題需要整個環境與技術建設的改善與配合，現階段要發揮毫米波技術優勢顯然還有困難。 展望未來，黃合淇強調，聯發科二十多年來在通訊(Communication)、多媒體(Multimedia)與運算(Computing)三大技術領域累積的基礎與優勢，在5G讓各式AI的創新應用得以具體實現的技術實力上，產生極大的發揮空間。隨著技術演進與新市場興起，在行動通訊與傳統消費性電子領域外，未來幾年在全球物聯網、車用電子、客製化晶片等應用的成長商機也是聯發科持續布局的面向，還有更多應用會在5G啟動下的智慧城市中被開發出來，用來提升和豐富人們的生活。

智慧製造會應用大數據分析來提升現有的分析能力以及如預測性分析的全新能力，然後再運用資料(也就是大數據)在數量、速度、多樣性、準確性(即資料品質)和價值(分析)上的重大發展。這些得到提升的新能力(表1)被視為是延伸先進製程控制(APC)系列的一部分。 半導體製造設備和製程分析的出現和發展，部分是因為三個關鍵產業挑戰而形成。這些挑戰已存在數十年，並非是智慧製造或大數據革命才有。 但是，在某種程度上，這些是半導體製造業獨有的挑戰，這些挑戰分別為：設備和製程複雜性、製程動態和背景豐富性，以及不良的資料品質(在精確性和可用性方面)。 這些挑戰導致半導體產業分析解決方案無法嚴格做到資料驅動。機台、製程和分析領域知識或主題專業知識(SME)也是大部分晶圓製造廠解決方案的關鍵組成部分。因此，半導體產業的製程分析目前和未來也將以此為考量來設計和運用。實際上，通常SME輸入機制在各方面都有正式的界定，從資料收集、資料處理、參數選擇、模型建構、模型和限值優化到解決方案實施和維護。 定義維度能力識別分析方法 過去十年中，分析方法呈現爆炸式成長，而且許多方法都是利用大數據機會開發而得。識別和歸類這些分析法的一個方法是定義分析的維度能力，以及指定或規劃與這些維度的相關分析能力。 圖1提供半導體製造中與分析相關的維度分類。就這些維度來看，可從能力在每個維度中的價值來定義應用或分析。例如，主成份分析(PCA)(一種通常在多元分析(MVA)、故障偵測(FD)和設備健全監控(EHM)中使用的方法)是無監控且回應式分析；MVA通常為靜態和無狀態分析，並且不包含SME。 圖1　分析維度能力，以及傳統半導體製造APC解決方案對這些維度的對應，唯象模型是表示製程知識的物理模型形式；這些都是使用統計數據進行調整或修改。 在分析應用程式方面，當今晶圓製造廠中的FD大部分均為無監控、回應式、單變數、靜態和基於統計學的分析，並且在FD模型開發中結合SME。透過使用這些維度和其他維度的定義分析法和分析應用程式，可以為識別能力差距、提升機會以及(從長遠來看)改善路線提供框架。 半導體製造APC應用程式近年來的發展體現了工廠控制方法從回應式到預測式(甚至是主動式)的轉變。這主要是依靠大數據的爆炸式成長，其中對於更大數量和更長久資料存檔的支援在某種程度上使得預測式解決方案能夠破譯多變數參數互動的複雜性、描述系統動態、拒絕干擾和濾除資料品質問題。 在許多情況下，為利用大數據解決方案提供的平行計算和即時處理資料，必須重寫這些解決方案中的演算法。同時，還可以開發更易處理大數據的新演算法。例如，早期的預測式解決方案依靠單核CPU和序列處理，而大數據可使用偏最小二乘法(PLS)和支援向量機(SVM)在伺服器集群上進行平行計算。同樣，為處理更多資料而重寫自組織對應(SOM)和產生拓撲對應(GTM)等無監控資料探索技術，能夠讓使用者快速進行深入探索。 同樣地，可以重寫隱馬爾可夫模型(HMM)和粒子群演算法等耗時的統計技術，大大提高計算效率。但是，過多的技術和大量的資料不一定會帶來更深入的了解和預測式能力。筆者認為沒有一種方法或多種方法組合是萬靈丹；相反地，應利用現有資料來自訂符合應用程式的方法，但是，我們認為SME將繼續引導解決方案的開發和維護。 AI/大數據分析迅速竄起 AI可用來描述感知環境並採取措施完成目標的任何裝置或分析法。現在，AI通常用於類比人腦功能的裝置或分析法概念(例如在自動駕駛汽車的應用中)。人工神經網路(ANN)這類分析的一個例子已經存在了數十年，且此類AI分析法在大數據發展中再度出現。例如，深度學習(一種與結構化ANN非常類似的技術)利用分層抽象實現品質更高、速度更快的大量資料分析。 深度學習可用於解決大數據分析中的一些較高維度問題，包括從二維度影像(如晶圓圖)中提取複雜的圖案。深度學習技術得益於資料量大增，並使用資料驅動型受監控技術尋找資料中的關係。這些技術的主要缺點是相對無法在模型開發和維護中合併SME。所開發的模型通常不明確可用，因此難以評估，同時半導體製造分析中涉及的背景複雜性和動態阻礙深度學習使用大量且持續的資料量。 近年來，研究工作的重點是結合SME和AI技術，該方法有望在未來應用於生產現場。另一種獲得極大關注的大數據分析能力是背景分析，該分析使用通常稱為「網路爬蟲」的解決方案。這些應用程式會挖掘背景中的資料，並尋找有關係的圖案或分析結果，例如接近故障的零件。然後，這些應用程式會以非同步方式通知如工廠控制系統的應用程式，以便能夠採取適當的措施。這種方法還會使診斷和預測更具有可重構性。 大數據分析日益進步提升製造良率 當邁向智慧製造時，顯而易見的一點是分析法將在實現良率的過程中繼續發揮更大的作用，同時可使產量最大化並降低成本。大數據的進步將推動這些分析法的發展，筆者認為，到目前為止所取得的進展已經提供一些重要發現，這些發現將有助這些分析法達到最大能力。 第一個重要發現是，半導體產業期待開發或加強的許多分析法解決方案都可以利用相同的模型開發(靜態資料)和模型執行/維護(動態資料)結構。例如，用於PdM的6步模型開發流程(如圖2a和2b中所總結)可用於虛擬量測，甚至預測良率。使用通用的方法不僅能夠節省推廣這些技術所需的時間和精力，還能夠讓製造廠商交叉利用分析法持續進步。 圖2a　使用MVA預測器及其部分的PdM方法，包括故障前時間範圍以及預測置信度或範圍的某種表示。 圖2b　利用離線模型建構和最佳化提供合併SME機制的PdM方法，可用於多種APC預測能力。 第二個重要發現是，智慧製造將使這些分析法的應用範圍延伸。例如，透過將診斷、控制和預測從晶圓製造廠內擴展到供應鏈中，可以更有效控制客戶需求並提高解決區域良率等問題的能力。第三個可能是最重要的發現為，SME將在半導體產業的分析法應用程式中繼續發揮重要的作用。應用程式將有所不同，但設備和製程專業知識仍然會是半導體製造分析解決方案的關鍵組成部分。 (本文作者皆任職於應用材料)  

3D封裝技術再現新突破。三星(Samsung)近日宣布，該公司已經開發出業界首個12層三維矽穿孔(3D-TSV)封裝技術。3D-TSV技術(尤其是12層)被認為是現今大規模量產高性能晶片所面臨的巨大挑戰之一，因為需要極高的精度才能通過擁有60,000多個TSV孔、以3D封裝垂直互聯的12個DRAM晶片。 三星電子測試與系統封裝執行副總裁Hong-Joo Baek表示，隨著各種新時代的應用不斷興起，像是人工智慧(AI)、高性能運算(HPC)等，能提升記憶體性能的封裝技術變得越來越重要，也越來越複雜。同時，隨著摩爾定律的擴展逐漸達到極限，預計3D-TSV技術的效用在未來將更加重要與關鍵，而該公司希望在此一領域一直維持在領先地位。 據悉，12層3D-TSV封裝技術的厚度與當前8層第二代高頻寬顯示記憶體(HBM2)相同，這在元件設計上是一大進步，因對客戶而言意味著可行更高容量、更高性能的設計，而毋須大幅改變系統架構設計。此外，透過3D封裝技術，將可使晶片間的資料傳輸時間更明顯的縮短，在明顯提高資料傳輸速度的也降低功率損耗。 總而言之，依靠新研發的12層3D-TSV 技術，三星將可為資料密集、高速傳輸等應用提供效能更高的DRAM；而且，透過將堆疊層數從8個增加至12個，三星將能在很短的時間內大量生產24GB高頻寬記憶體(容量為目前是市場上8GB高頻記憶體的3倍)。另一方面，三星也希望憑藉12層3D-TSV技術，滿足快速成長的大容量HBM市場需求，並同時希望該公司在高階半導體/記憶體市場的競爭優勢。 三星研發12層3D-TSV封裝技術，再強化晶片效能。  

新思科技(Synopsys)近日針對機器學習及人工智慧(AI)邊緣應用推出具備深度神經網路(DNN)加速器的全新DesignWare ARC EV7x嵌入式視覺處理器系列產品。ARC EV7x視覺處理器可整合多達四個強化向量處理單元(VPU)及一個高達14,080 MAC的DNN加速器，在16奈米(nm)FinFET製程技術中能提供高達35項業界領先之先進效能，為ARC EV6x處理器的四倍之多。 此外，新的EV7x設計可整合時序與電源閘控技術，並藉由強化架構而降低耗電。為加速ARC EV7x視覺處理器的應用軟體開發，Synopsys的MetaWare EV開發工具套件基於包括OpenVX及OpenCL C等常用嵌入式視覺標準，提供全面性的軟體編程環境。ARC EV7x嵌入式視覺處理器將高性能視覺引擎及DNN加速器與高產能編程工具結合，適用於各種視覺應用，包括先進駕駛人輔助系統 (ADAS)、視訊監控、智慧居家以及擴增和虛擬實境。 Kudan執行長暨共同創辦人Tomo Ohno表示，EV7x視覺處理器優化線性代數及矩陣數學運算的執行，加速同步定位與地圖構建(SLAM)以及例如AR/VR即時追蹤和自動駕駛定位等相關解決方案的處理，同時提升環境地圖的正確性。透過我們與Synopsys的合作，設計人員能夠運用高效率的SLAM解決方案強化性能表現，且耗電量與記憶體資源需求量均遠低於其他實作方式。 Synopsys新思科技IP行銷副總裁John Koeter指出，幾乎所有的智慧系統都因龐大的運算資料，而必須仰賴晶片來執行邊緣上的快速深層學習處理。新思科技最新的ARC EV7x嵌入式視覺處理器IP具備DNN加速器，結合其全面性軟體環境，可幫助設計人員達成汽車、消費者裝置及行動 SoC設計的最高性能與電源效率要求。

5G、AI、物聯網與自駕車的發展可望於2025年將全球IC營收提升到1,728億美元，同步帶動半導體產業擴廠與產線更新的需求；產線投資的高昂成本與日趨複雜的製程技術，則令半導體業者對廠區規劃的要求日益嚴苛，使得具效益與穩定性的能源管理解決方案成為台灣半導體業者穩健發展、尋求超越中國及南韓的關鍵。在半導體領域具有豐富經驗的施耐德電機(Schneider Electric)完整展出開放式物聯網EcoStruxure解決方案，從軟硬體、專家團隊到資產全生命週期管理，全方位協助業者打造高效能、安全、環保的能源解決方案。 耐德電機曾與英特爾(Intel)、甲骨文(Oracle)、三星電子(Samsung)等對關鍵電力有高度需求企業共同合作開發能源解決方案，並獲Intel選為策略性合作夥伴、頒予首選供應商獎，充分瞭解半導體業者在能源及廠房管理的痛點與需要。 施耐德電機台灣區總裁毛莉莉表示，除了基本的軟硬體產品，是否能在安全環境中運行、是否具備深度know-how的專家團隊、未來有無擴充性以及完善的資產全生命週期管理，更是半導體解決方案所必須。資安管理更是半導體產業關切的重點；施耐德電機產品通過多項資安認證，與多家國際企業的合作已證明施耐德電機系統的資訊安全性，我們更已加入國際自動化協會(ISA)成立的全球資訊安全聯盟，協助制定全球資安規範，將豐富的資安管理經驗分享給全球產業。 EcoStruxure是施耐德電機開發的創新解決方案，搭配工業物聯網(IIoT)設備的聯網感測、分析、擴增實境等先進的數位科技應用，可針對配電、電網、樓宇、IT企業機房、機器與廠房等提供節能安全控制、自動化與資產設備管理等客製化的解決方案。EcoStruxure迄今已發展成為一個龐大的生態系統，其OT設備端佈署地點超過48萬個，擁有2萬多名系統整合商和開發人員，並連結超過40種數位服務及160多萬項資產。 保護電驛是配電盤中最重要的組件，對廠房電力的穩定舉足輕重。施耐德電機將保護電驛智慧化，其中壓保護電驛Easergy P5具備多種功能，包括支援七種通訊協定、內建弧光保護，符合IEC 61850 Ed. 1和Ed. 2的資訊安全防護標準；Easergy P5更採用抽換式設計，需要維護時不需停機，10分鐘內迅速復原，大幅降低維護成本與時間。Easergy P5並整合IoT數位應用體驗，施耐德電機專家可根據EcoStruxure平台三層架構所收集的資料進行預測分析，協助客戶保護與控制關鍵資產。

人工智慧(AI)革命不僅僅是工業系統的自然發展，更是資料經濟中為突破瓶頸的必要改變：針對無法儲存並及時處理龐大資料量以產出得以輔佐決策資訊的困境，這是必要的解方，而這一切都源自於大量擷取及收集的工業生產數據。 過去工業系統在進行各層級決策時仰賴專家協助，也相當倚賴資料處理速度與頻寬技術的進步，而未來人工智慧架構內建的平行處理將更著重記憶與儲存之設計與表現，改變幅度之大前所未見。從邊緣到資料中心所採用的感測器及人工智慧系統都為了因應全新需求必須不斷調整改變，而這也將是資料經濟中推動競爭力的關鍵所在。 隨著人工智慧與機器學習技術持續演進，這樣的發展對於解決方案提供者亦形成挑戰，大幅改變其對需求及使用場景的期待。因此，為了因應不斷改變的需求並幫助未來智慧系統的發展，記憶體與儲存硬體的設計必須將人工智慧也納入考量。 本文將探討現今與未來人工智慧的價值及限制。記憶體與儲存系統將如何提升人工智慧效能，以加速新資料經濟的成長，是目前需迫切關注與討論的議題。 AI系統可根據即時資料快速決策 囿於今日資料處理系統的侷限，目前仍有龐大資料未獲AI運用。不過，更多資料量正被以更快的速度、更低的延遲及更高的解析度被擷取下來。相較於以過往的理論與近似法來處理複雜系統，現在已能利用實際資料集來訓練AI與機器學習的演算法。 在AI系統的全新功能下，今日AI已不仰仗一大批經高度訓練的專家耗費漫長的開發時間進行分析，而可透過經驗累積不斷改進的有機學習系統。除此之外，AI系統經設計後可根據即時資料快速做出決策，並在看似毫不相干的龐雜資訊中找到彼此關聯。 針對龐大的資訊量以及各層級對資料處理的需求，在現今資訊多元的社會中，導入具備廣泛功能的AI系統成了唯一可能的解決方案。因此，必須在邊緣裝置部署AI，以便處理並決定資料價值，接著再將預先處理的資訊傳送至雲端，或將原始資料傳送到更大且功能更強的雲端AI做進一步處理與儲存。對邊緣裝置來說，延遲是關鍵考量，而雲端則更倚賴平行運算、大量儲存及處理龐大資料的能力。 相較於過去的資料處理科技，在新的AI使用案例中，記憶體與儲存的影響力更大。資料處理在早期有瓶頸，因此更著重CPU處理量，時至今日，記憶體的速度與頻寬、資料儲存的速度與資料量則成了採用AI及推動更複雜機器學習運算法和智慧型系統的限制因素(圖1)。 圖1　AI/機器學習訓練中記憶體與儲存之重要性。 AI推動記憶體/儲存加速發展 多元且不斷演進的AI應用在許多方面都推動了記憶體與儲存的需求，包括AI訓練階段、邊緣處理、雲端AI執行等。影響記憶體效能的關鍵因素包括頻寬、密度、延遲、功率與成本。每一個AI應用都需在這幾項要素中取得平衡，也會受到使用的記憶體與儲存裝置影響。 AI訓練需具快速讀取吞吐量的大量儲存支援，更快的儲存讀取速度可加速訓練時間，而更龐大的訓練資料集亦可藉由更高的儲存密度被使用，這些要素最終都將影響AI系統的正確性與效用。此外，高頻寬、高密度的記憶體也能改善訓練時間，並在訓練期間採用更大的分析模型，以提升精準運算及AI的正確性。在訓練中採用更龐大的資料集、龐大的資料量、更強的儲存與記憶體密度、吞吐量等，都會直接影響AI處理結果的真實性，以及在細微差異情境中執行決策的能力。 另一方面，針對AI推論的需求，以及AI於資訊/決策過程中的階層，也會影響記憶體與儲存的要求。對於自駕車、通訊、安全和其他邊緣應用等即時應用，功率和延遲相較於頻寬及吞吐量更為重要。電池充電與行動裝置能支援記憶體與儲存的容量與功率都較小，這類應用也和雲端或AI訓練不一樣，對於邊緣的高效能儲存需求也較低。 智慧邊緣應用勢必得在成本與表現上妥協，儘管高成本與效能的記憶體可能無法迎合大眾市場對於AI應用的需求，但雲端AI與關鍵的AI基礎架構可能需要搭配更高效能的記憶體與儲存。 隨著AI逐漸成熟，記憶體與儲存解決方案將有機會優化。這個產業不管是從資料中心、雲端、或是智慧邊緣運算和智慧端點裝置，各領域的AI部署都將會出現轉變。通常在資料中心進行的AI運算會因「資料重力」而轉往資料來源的AI應用，提供不同的記憶體與儲存服務(圖2)。 圖2　不同任務需要不同的記憶體與儲存方案。 先進記憶體架構為AI開創新機會 目前，記憶體架構正出現一場革命性的改變，各種架構將協助未來AI應用的發展。 如DDR4等動態隨機存取記憶體(DRAM)是資料中心與伺服器應用的主力。為了採用更大量的數據，從DDR4轉換至DDR5將為效能及密度帶來前所未見、更大幅度的改變。可以預見未來多數的資料中心將會使用DDR5記憶體，其中有不少將會執行AI與通訊應用。主因是DDR5的效能預計將更勝DDR4。未來DDR5的優勢包括： DDR通道從12道提升到16道，進而提升記憶體晶片密度(從64GB提升至128GB)。 ．工作頻率與匯流排效率提升。 ．記憶體群組增加。 ．更新機制改善。 ．有助於在更高階工作模式中表現穩定的輔助功能。 從LPDDR4轉換到LPDDR5的過程也類似DDR5的轉換，目的在提升記憶體頻寬的同時，降低執行時間使用功率，並採用可減少總功耗的功能。DDR5主要使用在資料中心與個人電腦，LPDDR5則著重於邊緣AI應用與行動裝置等對於體積、成本、功率有嚴苛要求的領域。由於LPDDR5卓越的表現及功率優勢，未來可望突破傳統產業與應用，進一步擴大至其他應用範圍。 GDDR記憶體與DDR記憶體的不同在於圖像應用需要更強大的平行運算及更低的延遲，而非記憶體密度。GDDR5出現已近10年，直到現在才輪到GDDR6上場，而GDDR6規格已完備，將成為AI近期主力。標準的GDDR6速度高達16Gb/s，每晶片頻寬達72Gb/s。GDDR5/5X的電壓為1.5V，GDDR6的操作電壓則降低至1.3V。此外，GDDR6同時配有2通道，記憶體大小是GDDR5的兩倍。相較於GDDR5，GDDR6提供表現更強大的解決方案，鎖定需低延遲與高頻寬的AI應用。因此，GDDR6將更可能運用在AI硬體，並整合到要求延遲低但成本彈性較高的關鍵系統中。 高頻寬記憶體(High Bandwidth Memory, HBM)和混合記憶體立方體(Hybrid Memory Cube, HMC)是為了克服2D DRAM技術的記憶體頻寬瓶頸而研發出的3D DRAM 技術。HBM晶片採用堆疊式DRAM晶片，具備額外I/Q連接埠，根據堆疊式晶片的數量同步增加記憶體頻寬。 記憶體頻寬增加後，更接近處理核心(通常是GPU或FPGA)，相較於2D記憶體技術能進一步減少整體延遲。與2D DRAM解決方案相比，HBM記憶體的功耗與2D足跡也更小。 最新一代的HBM(HBM2)在記憶體速度、頻寬、密度等表現都更優異。HBM3也大致相同，但其最高記憶體容量則遜於GDDR5/5x/6。此外，由於HBM晶片有獨特的製造過程並額外採用矽，其成本比其他DRAM技術都更高。 需要更多近記憶體頻寬、速度、低延遲以及少量化足跡的AI應用未來可望採用HBM2/HBM3記憶體。這類應用包括複雜的AI訓練及要求極致效能的關鍵推論應用。 人工智慧解決方案過去聚焦於運算能力，如今我們則了解到在人工智慧系統的設計必須同時兼顧記憶體與儲存的面向。針對可能限制未來人工智慧應用的頻寬、延遲、密度、功率、成本等瓶頸，新一代的記憶體與儲存科技將扮演關鍵要角。 (本文作者為美光運算與網路業務部門資源副總暨總經理)

中國自2010年開始投入AI技術的發展，在機器視覺與自然語言相關的應用領域方面有著相當亮眼的成績。 只是這些技術並不是完全來自紮實的技術發展，畢竟中國過去在基礎教育方面的貧乏，使其缺乏研發AI相關技術的人才，這與美國在基礎科學發展努力了百年之久，累積龐大人才和技術庫的情況不同。因此，為了達到快速發展的目的，不擇手段就成了最被普遍使用，成效也最好的手段。 鼓勵留學/千人計畫　中國打下AI發展基礎 中國以三種方式來取得相關技術，並建立自己的AI技術基礎。首先，就是鼓勵資助大量留學生前往美國留學，學習技術之後可能會進入中國學界或業界主持各種研發項目。這個還算是比較正規的方法，而有一部份留學生在畢業後沒有馬上回國，而是留在當地就業，並促成第二種技術「轉移」方式。 第二種方法就是以大量金錢作為誘因，吸收在外國相關高科技企業工作的中國人，為政府取得技術，並回中國創立類似性質公司，中國另外還會高額補助該企業發展。知名的千人計畫其實就是在做這件事，不過千人計畫已經被國際關切，目前中國也轉向低調，不在檯面上提到千人計畫的執行內容和牽扯的相關人士，但實際上該計畫還是持續執行中。 而最後一個方法，則是利用政策壓力，以中國龐大的市場規模，強制要在中國做生意的外商進行技術轉移，這個手段因為太過明目張膽，反而科技大廠在技術轉移的選擇或策略上都有設下防火牆，所以受害並沒有那麼直接，但這也已經足夠讓中國包括AI技術在內的高科技公司得到快速成長的養分，這些外商原本認為他們只是到中國做生意，但其實是幫助了中國產業發展，而當中國自有技術到位，就會打入供應鏈，利用價格優勢把這些外商擠出中國市場。 監控成中國AI技術最大驅動力 另一方面，從應用面來看，中國發展AI的動機並不是那麼單純，雖然中國是全球最快實現AI商業化的地區之一，目前也已經有相當大的經濟規模，但如果把目前中國的AI經濟進行分解的話，就可以發現大部份的AI產值都是來自同一個地方，也就是安防監控應用上。 目前的中國安防監控產業，其實結合了晶片、AI演算法供應商、攝影機模組供應商、影像感測元件、儲存、伺服器方案等。同時，中國檯面上的AI方案公司主要是以前二者為主，也有自行設計前後端方案後推出整合型的AI攝影機模組的公司，例如海康威視。 作為監控產業龍頭，海康威視的最新財報中顯示，其監控相關業務的營收占了93%，而在中國四大AI金剛，商湯、曠視、依圖、雲從，以及更多以CV技術為基礎的AI新創公司，幾乎都是以接政府的監控、安防業務為主要營收來源，而根據各家的財務資料或公司負責人的受訪內容，這些公司的安防營收比重各約從3成到6成左右。 而多數AI晶片新創公司也幾乎都以安防為第一目標市場，比如說原本做挖礦晶片，後來轉型推出AI晶片的比特大陸，以及自動駕駛方案廠商地平線等，都不敢忽視安防監控這塊市場肥肉。 安防監控是每個國家都需要的重要基礎建設，但中國對這方面的需求遠超過全球其他國家，光是過去幾年，全中國的監視攝影機以每年接近一億部數量增加，而這些逐年新增的攝影機背後幾乎都與龐大的AI基礎建設進行連結，為發展相關技術生態，中國在過去數年投入上兆台幣資金規模發展和建置相關的技術平台。 在國家有意扶持發展之下，機器視覺(Computer Vision)是中國產業目前最強大的AI技術應用之一，基於該技術的人臉識別能力已達業界一流，其實務應用準確度已經可以達到98.5%以上，實驗室中甚至可以達到99.99%。除了人臉識別技術外，包括人體移動姿態、服飾追蹤的外觀型態模型建立，也更幫助整個監控系統更充分掌握要追蹤的目標動向。 除了政府的推動以外，中國對於個人隱私保護認知的不足，也成為推動AI發展的關鍵元素，畢竟AI都是基於機器學習所建立的模型，如果樣本不夠大，那麼建立出來的模型可靠度就不足。歐美由於對個人臉孔等可以和個人身份高度連結的隱私資料非常重視，可用來進行機器學習的公開資料比較有限，而蘋果過去Siri被詬病的不夠聰明，也是由於這個緣故。 中國人口基數大，而從手機應用、銀行業務、安防設備等日常生活中各種需要擷取臉孔的應用極多，相關後台收集了龐大的臉孔資料，這些資料也成為推動具備中國特色AI發展的重要養分。 然而隨著安防監控的市場競爭者越來越多，技術發展上也開始遭遇瓶頸，在核心的模型建立方面，各家落差已經不大，資本投入也從模型和演算法的研發逐漸轉為應用面的擴大，希望把這些以龐大人臉資料庫訓練出來的AI技術轉移到其他領域，創造更多的商業機會。 無人商店功敗垂成 這方面最成功的該屬金融機構的人臉識別技術。由於金融機構對臉部識別的精確度要求更高，這方面多數直接沿用政府的臉部資料庫和模型，並輔以更精準的演算法；當然，這方面的應用也是多數專注機器視覺的AI公司的共通發展方向。不過金融機構的市場胃納量有限，很快的，這些AI公司又把腦筋動到了無人商店之類的AI應用。 但與安防監控和金融機構的人臉識別不同，無人商店並沒有獲得成功。這是因為無人商店最主要的訴求，也就是降低管理成本，沒有辦法達到宣稱的效果。 這主要還是因為中國人力成本低，Amazon的無人商店之所以能成功，在於美國的人力成本高，另一方面，Amazon的使用體驗經過高度最佳化。因為是Amazon集團經營，所有銷售資料都會在雲端統整分析，整理出各地商店的消費偏好模式，讓商品的類型可以更符合當地的消費習慣。 相較之下，中國的無人商店概念仍僅止於交易過程的無人化，為了取代店員，使用了更昂貴的機器設備，反而造成經營成本壓力。另一方面，中國網購盛行，到店消費早已不是主流，在這個情況之下，實體店面的營收只會持續下滑，根本無力支撐龐大的無人化硬體套件。 也因此，雖然前幾年相關概念極為火熱，但商用之後才發現實際問題很大，諸多無人商店業者紛紛退出市場。光是2018年，幾個主要的無人商店業者，包含鄰家便利、猩便利、7隻考拉和小閃科技都先後倒閉。 像蘇寧、騰訊的無人快閃店等，雖然仍持續經營，也都只有小規模部份設點。最早的無人商店概念之一，F5未來商店則是走販賣機形式的無人販售方式，雖然稱為無人商店，但其實更像台灣近來風行的夾娃娃機產業，差別只在於收款和販賣方式不同。 無人商店這個議題也曾掀起一波融資潮，大把金錢湧入這個新興概念產業，但跟OFO之類的共享經濟概念相似，多數都撐不了多久，錢燒光了就宣告倒閉。 AI醫療/AIoT挑戰仍多 當然，也不能說中國就沒有正經八百發展AI的產業，比如說醫療、包含智慧城市、智慧家居、智慧零售和智慧製造等四項應用場景的AIoT概念。 醫療方面AI發展同樣集中在機器視覺領域。比如說X光片、超音波等醫學專業圖像的判讀交給AI來處理，效率更高，準確度也更好；而AI也用來進行病歷管理工作，這對於中國這種醫療環境相對落後，且醫護人員缺乏的國家，其實可以帶來相當大的幫助。 然而技術雖有突破，但中國政府在監管方面卻轉趨收緊，新規要求針對醫療圖像進行診斷的公司必須申請醫療器械許可證，而申請耗時需要一年以上，目前還沒有公司拿到許可證。而因為市場風險增加，融資難度也明顯提升，也讓中國業者面臨發展陰影。 而AIoT牽扯到的AI技術層次更多，機器視覺雖然仍占很大的比重，但自然語言、自動駕駛、無人倉儲管理等AI演算法在這些領域也同樣扮演重要角色。然而這方面的發展還處於早期階段，相關產值短期內也很難看到拉升。 爭取融資　中國晶片設計同質性偏高 隨著AI浪潮興起的，還有針對雲端和終端等不同AI應用中的訓練和推理場景進行加速的相關晶片方案。而其實AI晶片最主要還是在演算法的差別，晶片本身的設計難度並不高，除了針對不同運算場景的需求配置不同的記憶體或功能區塊以外，AI本身的計算工作基本上都是通過類似的大規模乘加法運算器(MACs)來達成。 AI晶片方案的發展其實是最近幾年的事，從最早使用FPGA搭配自有演算法的方案，到後來有不少廠商發展自己的晶片，配合演算法與開發環境主打AI通用運算工作。而像寒武紀這類的中國業者則是推出AI運算晶片IP，授權給客戶作為AI運算方案。 隨著這些方案的發展，彼此的同質性越來越高，架構設計上也沒有太多差異。而因為AI晶片設計的門檻低，不少原本專注於AI演算的公司也開始推出自己的AI晶片，主打根據特定場景的最佳化更到位，可以提供更高效能，更低功耗，以及更少的維持成本。 只不過，業界想的基本上都差不多，不是針對雲端的高性能AI晶片，不然就是針對邊緣和終端的低功耗AI晶片，性能差異的來源主要還是在晶片上的運算單元和記憶體規模，以及配合的演算法實現方式。 至於為什麼晶片公司先後發表自己的AI方案，主要還是融資市場對這方面的議題非常關注，由於中國產業高喊自有的聲音很大，能推出方案的晶片設計公司通常都能夠拿到很多的投資。而這些方案能成功實現商業化的數量有限，多數成功商業化的AI晶片走進安防監控領域，或者是部份AIoT市場。 舉例來說，號稱自動駕駛最強的地平線公司在2018年貢獻營收的主要還是安防方案，自動駕駛方案基本上只有少量出貨給合作廠商進行測試，還沒有大規模商用。而為了維繫投資人的熱情，這些AI晶片廠商即便沒有客戶，仍然不斷的開出新方案，計算性能與規模也越喊越誇張。 回過頭來看，中國市場的AI運算市場，雲端機器學習加速架構仍有超過9成被NVIDIA掌握，CPU方案則幾乎由英特爾獨占，推理方面英特爾的FPGA和NVIDIA的GPU各有一部份。至於AIoT領域中，真正的終端AI還沒有大規模實現，手機晶片上雖然有華為和寒武紀的合作，但先行者的優勢至今也已經逐漸被抹滅，蘋果和高通，甚至聯發科的手機AI性能基本上都能和華為的方案平起平坐。也因此，就連業者也認為這些AI晶片公司可能需要一波清洗，好去蕪存菁。 煉蠱式成長壓力大　國家隊仍可能彼此殘殺 最著名的兩個國家隊領袖，分別是華為與寒武紀，二者的合作的確製造了不少話題，並為華為當時的旗艦手機創造了銷售熱度。但有趣的是，寒武紀在新聞資料上對華為低聲下氣，也曾讚賞二者的合作。然而華為卻自始至終都否認相關的訊息，對外永遠只說華為用在手機上的NPU神經網路加速單元是自行研發的產品。即便業界都知道這個NPU的來龍去脈。 作為寒武紀少數的IP授權客戶之一，且出貨量極大，他自然不敢得罪華為，但華為卻明顯另有盤算。到了麒麟810，華為用自有的昇騰AI架構取代了寒武紀。而華為繼續對外宣稱，他們研發相關的AI架構已經超過10年之久。耐能的CEO就曾指出，當初華為和寒武紀的合作，其實等同於華為逼迫寒武紀賣身，也就是把寒武紀NPU的IP的原始碼全部交給華為，華為才願意合作。 而從2017年的麒麟970推算，華為拿到寒武紀的NPU原始碼最早可能在2016年左右，而到2018年推出「自有」昇騰AI架構，也不過才兩三年。華為的狼性著實讓寒武紀吃足苦頭，原因在於華為的昇騰架構要打的市場和寒武紀高度重疊。寒武紀是中國少數提供晶片IP授權業務的公司，而發生華為這個事件，相關的業者未來在選擇合作對像以及合作方式時，應該會更謹慎。 中國應用優勢漸失成未來隱憂 成也應用，敗也應用，AI最後的商業化關鍵還是在於應用是否與有足夠的市場吸引力，由中國政府創造的安防監控應用雖然規模龐大，相關內需產值驚人，但市場競爭也大，而其他如自動駕駛或AIoT也還遠遠談不上成熟，而最主要的關鍵是，多數AI方案公司基本上都只能守在中國，打不進國際市場，而目前中美貿易情勢緊張，製造業等內需減弱，短期內也不見和解的可能，這都讓中國的AI產業烏雲罩頂。