TensorFlow
Google開源框架加速AI訓練 最高節省80%成本
近日Google研究人員發表一篇說明SEED RL框架的文章,該架構可將人工智慧(AI)模型的訓練擴及數千個機器。並且促進每個機器達到每秒訓練數百萬個框架的速度,同時減少80%的成本,可望為過去無法與大型AI實驗室競爭的新創公司帶來平等的發展機會。
圖 近日Google研究人員發表一篇說明SEED RL框架的文章。來源:Google AI
在雲端進行複雜的機器學習非常昂貴。華盛頓大學曾經為了訓練用來製作/辨別假新聞的AI模型Grover,在兩週內花費了25,000美元。人工智慧研究組織OpenAI每小時支付256美元來訓練語言模型GPT-2,而Google支出大約6912美元訓練雙向轉換器模型BERT,用以重新定義11種自然語言處理任務的最新狀況。
SEED RL建構在Google的TensorFlow 2.0框架之中,透過集中模型使用圖形卡與張量處理器(tensor processing units, TPU)。為了避免遇到數據傳輸瓶頸,其使用分散式推論(distributed inference)訓練模型的學習元件,集中執行AI推論。目標模型的變量和狀態資訊保留在原本的位置,而每個步驟的觀察結果則會回傳給學習者,並且基於開源的通用RPC框架網路庫,維持在延遲最低的狀況。
為了評估SEED RL,研究團隊在常見的Arcade環境,以及DeepMind實驗室/Google Research Football三種環境中進行基準測試。團隊表示,他們解決了在Google Research Football中未解決的任務,並透過64個雲端TPU核心,達到每秒240萬幀的處理速度,此成果是目前最先進的分散式代理人機制的80倍。
小巧/低功耗特性亮眼 Edge TPU鎖定邊緣應用
2018年7月Google在其雲端服務年會Google Cloud Next上正式發表其邊緣(Edge)技術,與另兩家國際公有雲服務大廠Amazon/AWS、Microsoft Azure相比,Google對於邊緣技術已屬較晚表態、較晚布局者,但其技術主張卻與前兩業者有所不同。
Google AI布局逐漸走向邊緣
除了同樣提倡基礎的物聯網閘道器(IoT Gateway)軟體Edge IoT Core、人工智慧/機器學習(AI/ML)軟體Edge ML外,還針對人工智慧/機器學習推出專屬的加速運算晶片,稱為Google Edge TPU(圖1),成為此次盛會一大焦點。
圖1 Google發表僅有1美分銅板面積不到的人工智慧加速運算晶片Edge TPU。
資料來源:Google官網
在Google發表Edge TPU前已發表過Cloud TPU晶片,首次發表是在Google另一個更全面、更盛大的例行年會Google I/O 2016上。Cloud TPU顧名思義用於雲端機房,而TPU是TensorFlow Processing Unit的縮寫,言下之意是針對TensorFlow而設計的硬體加速運算器,TensorFlow則是Google於2015年11月提出的人工智慧框架,是目前諸多人工智慧框架中的一大主流,其他知名的框架如Caffe/Caffe 2、Apache MXnet等。
目前人工智慧框架百花齊放,其他常見的亦有Keras、PyTorch、CNTK、DL4J、Theano、Torch7、Paddle、DSSTNE、tiny-dnn、Chainer、neon、ONNX、BigDL、DyNet、brainstorm、CoreML等。若以簡單譬喻而言,人工智慧的開發撰寫如同文書撰寫,人工智慧框架就如同記事本、Word等文書處理器,功效在於協助與便利開發撰寫。
Google自行開發設計的Cloud TPU僅用於自家雲端機房,且已對多種Google官方雲端服務帶來加速效果,例如Google街景圖服務的文字處理、Google相簿的照片分析、乃至Google搜尋引擎服務等。Google Cloud TPU也改版快速,2016年首次發表後2017年推出第二代,2018年推出第三代晶片(圖2)。
圖2 Google連續三年在Google...