人工智慧(AI)革命不僅僅是工業系統的自然發展，更是資料經濟中為突破瓶頸的必要改變：針對無法儲存並及時處理龐大資料量以產出得以輔佐決策資訊的困境，這是必要的解方，而這一切都源自於大量擷取及收集的工業生產數據。
過去工業系統在進行各層級決策時仰賴專家協助，也相當倚賴資料處理速度與頻寬技術的進步，而未來人工智慧架構內建的平行處理將更著重記憶與儲存之設計與表現，改變幅度之大前所未見。從邊緣到資料中心所採用的感測器及人工智慧系統都為了因應全新需求必須不斷調整改變，而這也將是資料經濟中推動競爭力的關鍵所在。
隨著人工智慧與機器學習技術持續演進，這樣的發展對於解決方案提供者亦形成挑戰，大幅改變其對需求及使用場景的期待。因此，為了因應不斷改變的需求並幫助未來智慧系統的發展，記憶體與儲存硬體的設計必須將人工智慧也納入考量。
本文將探討現今與未來人工智慧的價值及限制。記憶體與儲存系統將如何提升人工智慧效能，以加速新資料經濟的成長，是目前需迫切關注與討論的議題。
AI系統可根據即時資料快速決策
囿於今日資料處理系統的侷限，目前仍有龐大資料未獲AI運用。不過，更多資料量正被以更快的速度、更低的延遲及更高的解析度被擷取下來。相較於以過往的理論與近似法來處理複雜系統，現在已能利用實際資料集來訓練AI與機器學習的演算法。
在AI系統的全新功能下，今日AI已不仰仗一大批經高度訓練的專家耗費漫長的開發時間進行分析，而可透過經驗累積不斷改進的有機學習系統。除此之外，AI系統經設計後可根據即時資料快速做出決策，並在看似毫不相干的龐雜資訊中找到彼此關聯。
針對龐大的資訊量以及各層級對資料處理的需求，在現今資訊多元的社會中，導入具備廣泛功能的AI系統成了唯一可能的解決方案。因此，必須在邊緣裝置部署AI，以便處理並決定資料價值，接著再將預先處理的資訊傳送至雲端，或將原始資料傳送到更大且功能更強的雲端AI做進一步處理與儲存。對邊緣裝置來說，延遲是關鍵考量，而雲端則更倚賴平行運算、大量儲存及處理龐大資料的能力。
相較於過去的資料處理科技，在新的AI使用案例中，記憶體與儲存的影響力更大。資料處理在早期有瓶頸，因此更著重CPU處理量，時至今日，記憶體的速度與頻寬、資料儲存的速度與資料量則成了採用AI及推動更複雜機器學習運算法和智慧型系統的限制因素(圖1)。
AI推動記憶體/儲存加速發展
多元且不斷演進的AI應用在許多方面都推動了記憶體與儲存的需求，包括AI訓練階段、邊緣處理、雲端AI執行等。影響記憶體效能的關鍵因素包括頻寬、密度、延遲、功率與成本。每一個AI應用都需在這幾項要素中取得平衡，也會受到使用的記憶體與儲存裝置影響。
AI訓練需具快速讀取吞吐量的大量儲存支援，更快的儲存讀取速度可加速訓練時間，而更龐大的訓練資料集亦可藉由更高的儲存密度被使用，這些要素最終都將影響AI系統的正確性與效用。此外，高頻寬、高密度的記憶體也能改善訓練時間，並在訓練期間採用更大的分析模型，以提升精準運算及AI的正確性。在訓練中採用更龐大的資料集、龐大的資料量、更強的儲存與記憶體密度、吞吐量等，都會直接影響AI處理結果的真實性，以及在細微差異情境中執行決策的能力。
另一方面，針對AI推論的需求，以及AI於資訊/決策過程中的階層，也會影響記憶體與儲存的要求。對於自駕車、通訊、安全和其他邊緣應用等即時應用，功率和延遲相較於頻寬及吞吐量更為重要。電池充電與行動裝置能支援記憶體與儲存的容量與功率都較小，這類應用也和雲端或AI訓練不一樣，對於邊緣的高效能儲存需求也較低。
智慧邊緣應用勢必得在成本與表現上妥協，儘管高成本與效能的記憶體可能無法迎合大眾市場對於AI應用的需求，但雲端AI與關鍵的AI基礎架構可能需要搭配更高效能的記憶體與儲存。
隨著AI逐漸成熟，記憶體與儲存解決方案將有機會優化。這個產業不管是從資料中心、雲端、或是智慧邊緣運算和智慧端點裝置，各領域的AI部署都將會出現轉變。通常在資料中心進行的AI運算會因「資料重力」而轉往資料來源的AI應用，提供不同的記憶體與儲存服務(圖2)。
先進記憶體架構為AI開創新機會
目前，記憶體架構正出現一場革命性的改變，各種架構將協助未來AI應用的發展。
如DDR4等動態隨機存取記憶體(DRAM)是資料中心與伺服器應用的主力。為了採用更大量的數據，從DDR4轉換至DDR5將為效能及密度帶來前所未見、更大幅度的改變。可以預見未來多數的資料中心將會使用DDR5記憶體，其中有不少將會執行AI與通訊應用。主因是DDR5的效能預計將更勝DDR4。未來DDR5的優勢包括：
DDR通道從12道提升到16道，進而提升記憶體晶片密度(從64GB提升至128GB)。
．工作頻率與匯流排效率提升。
．記憶體群組增加。
．更新機制改善。
．有助於在更高階工作模式中表現穩定的輔助功能。
從LPDDR4轉換到LPDDR5的過程也類似DDR5的轉換，目的在提升記憶體頻寬的同時，降低執行時間使用功率，並採用可減少總功耗的功能。DDR5主要使用在資料中心與個人電腦，LPDDR5則著重於邊緣AI應用與行動裝置等對於體積、成本、功率有嚴苛要求的領域。由於LPDDR5卓越的表現及功率優勢，未來可望突破傳統產業與應用，進一步擴大至其他應用範圍。
GDDR記憶體與DDR記憶體的不同在於圖像應用需要更強大的平行運算及更低的延遲，而非記憶體密度。GDDR5出現已近10年，直到現在才輪到GDDR6上場，而GDDR6規格已完備，將成為AI近期主力。標準的GDDR6速度高達16Gb/s，每晶片頻寬達72Gb/s。GDDR5/5X的電壓為1.5V，GDDR6的操作電壓則降低至1.3V。此外，GDDR6同時配有2通道，記憶體大小是GDDR5的兩倍。相較於GDDR5，GDDR6提供表現更強大的解決方案，鎖定需低延遲與高頻寬的AI應用。因此，GDDR6將更可能運用在AI硬體，並整合到要求延遲低但成本彈性較高的關鍵系統中。
高頻寬記憶體(High Bandwidth Memory, HBM)和混合記憶體立方體(Hybrid Memory Cube, HMC)是為了克服2D DRAM技術的記憶體頻寬瓶頸而研發出的3D DRAM 技術。HBM晶片採用堆疊式DRAM晶片，具備額外I/Q連接埠，根據堆疊式晶片的數量同步增加記憶體頻寬。
記憶體頻寬增加後，更接近處理核心(通常是GPU或FPGA)，相較於2D記憶體技術能進一步減少整體延遲。與2D DRAM解決方案相比，HBM記憶體的功耗與2D足跡也更小。
最新一代的HBM(HBM2)在記憶體速度、頻寬、密度等表現都更優異。HBM3也大致相同，但其最高記憶體容量則遜於GDDR5/5x/6。此外，由於HBM晶片有獨特的製造過程並額外採用矽，其成本比其他DRAM技術都更高。
需要更多近記憶體頻寬、速度、低延遲以及少量化足跡的AI應用未來可望採用HBM2/HBM3記憶體。這類應用包括複雜的AI訓練及要求極致效能的關鍵推論應用。
人工智慧解決方案過去聚焦於運算能力，如今我們則了解到在人工智慧系統的設計必須同時兼顧記憶體與儲存的面向。針對可能限制未來人工智慧應用的頻寬、延遲、密度、功率、成本等瓶頸，新一代的記憶體與儲存科技將扮演關鍵要角。
