Google投入自家AI晶片 期望發揮帶頭角色

日前Google針對資料中心市場推出自家晶片Tensor Processing Unit (TPU)，專門應付處理大量數據需求。

評論指出，Google之所以推出該技術，主要出發點在於追求效能、降低耗能與帶領其他業者一同加入打造TPU的行列。

據Network World報導，過去由IBM大型主機與昇陽(Sun)伺服器處理的資料中心工作量自從受到諸如Google等雲端業者帶動後，更讓英特爾(Intel)的PC硬體將其普及化，不過，日前Google公布自家TPU效能與架構詳細研究報告後，上述情況恐將從此改變。

首先，TPU並非類似英特爾中央處理器(CPU)或NVIDIA繪圖處理器(GPU)的晶片，而是屬於機器學習的ASIC特殊應用晶片。

機器學習包括訓練與推理兩大部分。

訓練是指利用數據將電腦程式化。

在機器學習系統提供各種語言的句子並教導電腦翻譯成其他語言屬於訓練，而口說或在智慧型手機內輸入某語言的句子轉變成另一種語言則是推理。

由於TPU是針對推理的特殊任務而設計，加上推理已逐漸成為Google工作量龐大部分，在工作量增加後也催生Google的TPU問世。

諸如語言翻譯與圖片搜尋等推理模型的處理容量屬於面對用戶的功能，因此，需要低成本與低延遲效能，而推理正是讓資料中心容量神經網路工作量最大化最適合起點。

評論認為，Google之所以設計並打造TPU原因首先就是著眼於效能。

Google將自家TPU與執行95%推理工作量的英特爾伺服器等級Haswell CPU與NVIDIA K80 GPU相比，而在執行神經網路推理時，TPU速度更比NVIDIA GPU與英特爾CPU快15~30倍。

第二是考量實體空間。

雲端資料中心相當於IT廠房。

Google資料處理廠房等龐大基礎建設的資本與營運費用已成為一筆龐大預算。

6年前，當用戶開始使用自然語言辨識取代手機鍵盤時，Google工程時當時曾預估，每天每位用戶3分鐘自然語言輸入，將會讓採用英特爾與NVIDIA設計的資料中心數量開始倍增。

第三是耗能。

評論指出，速度較快的晶片但沒有伴隨耗能降低，只能影響實際空間成本，降低耗能則可帶來雙重影響，因為可降低使用能源量以及降低冷卻成本。

Google指出，結合TPU與CPU處理器每瓦效能在不同工作量下，比CPU與GPU替代技術提升30~80倍。

第四是TPU可解決特殊應用問題。

英特爾的CPU與NVIDIA的GPU是屬於廣泛應用的一般系統單晶片(SoC)，特別是精準計算的浮點運算。

機器學習模型可容忍低準度數學運算，因此，無需浮點處理單元(FPU)。

若拿英特爾及NVIDIA的系統單晶片與FPU相比，利用TPU 8位元數學運算驅動的推理模型預測精準度兩者相當。

另外，矩陣幾何數學組成了多數的神經網路運算，至於矩陣相乘單元(Matrix Multiply Unit;MMU)則是TPU的核心。

當中包含可執行8位元乘法與加法共256x256的乘數累加器(MAC)，MMU每周期可執行6.4萬次累加計算。

TPU在時脈0.7GHz時由於可讓低準度矩陣數學最大化以及快速移動數據與結果，相較英特爾與NVIDIA的晶片可達到最大效能表現。

Google也指出，未來TPU重新設計增加匯流排頻寬後，性能將提升2~3倍。

第五則是促使晶片廠打造TPU。

由於Google是數據頭號使用者，因此相當了解機器學習問題並能足夠打造出解決方案，而且歷經2年在其資料中心運作後，證實該問題已經獲得解決。

而Google之所以釋出這次報告，目的是希望在機器學習與晶片廠團體內提高討論度，目前已是推出可大量執行推理的商用解決方案的時候。

第六則是專利與智財權交易。

由Norman Jouppi率領的團隊在15個月內便推出TPU，若搜尋美國專利局資料庫有關Jouppi的專利，當中更可發現許多TPU相關專利。

評論指出，身為專利擁有者，Google可藉由開放其專利鼓勵晶片廠進入該市場，而且主要機器學習使用者業者，例如亞馬遜(Amazon)、Google、Facebook、IBM與微軟(Microsoft)也在等候採購機器學習專屬系統單晶片。