AI晶片為何如此重要（上） - 國際新知

AI晶片包括GPU、FPGA和為AI設計的ASIC，CPU這類的通用晶片也可以用來處理簡單的AI系統，但隨著AI的發展已經不太實用。

AI晶片除了追求更小的電晶體，還 ... 人工智慧的國際競爭正是美中科技戰的主要背景，而在此一競爭中晶片設計與製造能力成為關鍵的戰略資產。

美國研究AI政策的智庫CenterforSecurityandEmergingTechnology，在今年四月出版一份報告（AIChips:Whattheyareandwhytheymatter?），說明AI晶片的發展趨勢以及對美國戰略佈局的重要性。

台灣在晶片製造能力上舉足輕重，也註定在這場AI國際競爭中扮演關鍵角色，因此這篇報告值得細讀，本網站詳細摘譯了該報告的內容並分上下兩集刊登。

一、簡介 人工智慧在未來會是國家安全的重要一環，美國政府因此極欲控制AI相關科技的發展，但由於軟體、資料、演算法很難被限制，AI系統相關的硬體因此成為主要對象。

近年來AI科技的成功與計算效能突飛猛進的發展有密切關係，訓練一個AI需要大量的算力和金錢，而算力的發展和近年專門為AI演算法設計的晶片有關係。

而這些晶片的供應鏈主要集中在美國，所以美國有機會針對出口政策做限制。

這篇文章會介紹AI晶片的原理，和他們為何如此重要，也會說明這些晶片為何比傳統晶片更有效率。

文章裡對半導體產業和AI晶片的設計趨勢做了研究，並會對經濟和科技效益作出分析。

本文所講到的AI技術都是指類神經網路方面的應用，AI晶片則是泛指針對AI演算法做過優化且能夠提高效能的晶片。

  1960~2010年代，晶片的發展遵守摩爾定律，現在最新技術的晶片上的電晶體已經只有幾個原子的大小，但如果想要再製造更小的電晶體將會遇到許多技術困難，因此半導體業在研發和資本方面的投入成本不斷的提高，近年的發展已經逐漸趨緩，難以再遵守摩爾定律。

因此製造通用的普通晶片（如CPU）其經濟效益已經慢慢不如專門的晶片，AI晶片吞食了CPU相當多的市佔率。

AI晶片的基礎 AI晶片包括GPU、FPGA和為AI設計的ASIC，CPU這類的通用晶片也可以用來處理簡單的AI系統，但隨著AI的發展已經不太實用。

AI晶片除了追求更小的電晶體，還針對AI演算法常用的計算加速，包括對大數運算使用平行計算（相對CPU的單線程運算），或者降低計算的精度以減少電晶體的使用，加速記憶體存取速度等，也針對AI程式碼的編譯做優化。

不同的AI晶片其優點不同，GPU通常是用來研發和調校演算法（訓練模型），FPGA則針對實際資料的應用做優化，而ASIC也偏向於訓練。

為何AI晶片對於AI發展是必要的 AI晶片在訓練AI方面可以比CPU快上數千倍，在平均成本方面也較為便宜，AI晶片提升的效能大約等於26年摩爾定律的發展。

目前來說，新的AI系統需要的不只是普通的AI晶片，而是要有更強大的設計，過往的AI晶片需要消耗大量的能源，這些成本使得要發展劃時代的AI演算法不可能缺少好的AI晶片，即便是使用現在最好的產品，訓練一個模型可能也要花千萬以上美元和數週的時間來完成，事實上，在所有頂尖的AI實驗室，大部分的花費都是AI相關的計算成本，因此要走在研究的前端，好的硬體是不可或缺的。

國際間的AI競爭 美國和他們的友邦在半導體業的許多部分都佔有競爭優勢，而這些部分是生產AI晶片很重要的一環，美國的企業在AI晶片的設計、設計晶片用的EDA軟體方面具有絕對的領導地位，中國的AI晶片設計廠商遠遠落後且必須依賴美國的EDA軟體。

雖然中國最近有小幅度的成長，但美國、台灣、南韓的企業還是控制了世界主要的晶圓廠和技術。

而美國、荷蘭、日本的企業則是共同掌握了主要的SME（半導體廠需要的設備），中國的廠商為了提升製造品質，必須向這些國家進口。

然而這些優勢隨時可能消失，特別是中國在創立一個蓬勃的晶片產業上十分努力，基於國防因素，美國和他們的同盟必須保護他們目前的競爭優勢。

二、晶片革新的定律 所有的電腦晶片，包括CPU和特殊功能的晶片（如AI），擁有較小的晶圓體都是優勢，因為他們可以消耗更少的能源且運行的更快。

相對於CPU，AI晶片還可以針對演算法優化來提升效能。

在2000年代晚期，電晶體快速地縮小使得能源消耗降低和運算速度快速提升，所以當時特製的晶片並沒有優勢，CPU處於主導地位。

然而近年來隨著晶片進入原子等級，摩爾定律已經漸漸失準。

（摩爾定律：單位晶片上的電晶體數量每兩年會翻倍，最早在1960年代被觀察到，而且直到2010年都是準的，但如今最好的晶片已經可以有數十億個電晶體，和摩爾定律預計達到的標準已經差了15倍）   電晶體的密度是一代一代提升的，或稱為節點（node），每個節點對應到電晶體的大小（用長度表示）都比前一代提升一倍的密度，2019年晶圓廠已經可以實驗產出5奈米的電晶體，且預計可以在2020年量產，前兩代的節點則分別是7奈米和10奈米。

  一個會和摩爾定律一起被提到的定律說越小的電晶體通常消耗的能量越少，所以雖然電晶體的密度一直提升，單位晶片上消耗的能量一直維持定值，導致總消耗的能量減少，然而電晶體消耗能量的減少比率在2007年時已經趨緩。

效率和速度的提升 CPU的速度自1960年後一直快速提升，越高的電晶體密度能夠透過調頻來達到更快的加速，也就是說單位電晶體能夠每秒在0和1之間切換更多次。

由於較小的電晶體消耗比較少的能量，電晶體切換的速度可以在不消耗更多能源的前提下提升，圖一是電晶體密度、速度和效率自1979年的成長。

  在1978和1986年間，頻率縮放讓讓速度每年增長22%，然後在1986年至2003年，藉由平行計算設計技術的提升，速度每年增加52％。

頻率調整不再熱門後，多核心的設計讓速度在2003~2011每年提升23%。

平行處理技術在2011~2015則壓榨出了12%的年度成長，之後每年只成長3％。

效率也有顯著的提升，因為每個電晶體消耗的能量減少，整體的CPU效率在2000年以前每1.57年就成長一倍，2000年後因為電晶體消耗能量的減少變慢，每2.6年才成長一倍，相當於每年成長30%。

  由於電晶體的縮小和密度提高，可以採用新的晶片設計，效率和速度就可以有更近一步的提升。

CPU可以針對不同函數包涵設計更多種的運算單元，而且可以容納更多的快取記憶體，DRAM之類的記憶體晶片也可以容納更多的記憶空間。

CPU也有更多的空間做平行處理的架構設計，同時更大的電晶體密度也讓CPU的整體大小縮小，就出現了多核心設備，可以同時處理不同的運算。

  在1990年代，設計的進步一直走在電晶體密度進步之後，因為晶片設計廠商都在努力做出更好的電晶體，然而當電晶體的尺寸縮小到只有幾個原子大以後，電晶體的進步幾乎達到了極限，許多物理的限制讓設計出更小的電晶體變得很具挑戰，最大的變化出現在2000年，當電晶體的絕緣層變得太薄使得電流開始會洩漏，工程師用更新更絕緣的材料且不再縮小絕緣層。

更巨大的結構轉變接著發生，在1960到2011年間，電晶體是一層一層疊在一起的，然而很絕緣的材料都無法阻止電流洩漏，因此工程師將這種平面式的安排改成更複雜的立體安排，這個新的結構從22nm到現在5nm都一直是主流，然而在5奈米以下，即使是這種結構也會洩漏，因此在3奈米的層級將會採用全新的結構。

三、摩爾定律的趨緩以及通用晶片的衰退 如今，CPU優於特製晶片的潮流已經過去，技術困難使得要維持摩爾定律的成本高於半導體市場的成長，最後這些經濟和技術的因素使得實際電晶體的密度成長遠遠不如摩爾定律所預測，最終導致電晶體密度的成長達到極限。

通用晶片的經濟規模 CPU比起特製晶片在效能的成長上更為穩定，在通用晶片領導的時代，通用晶片的市場不足以支撐研發的高成本。

專用晶片在針對特定任務在設計上優於通用晶片，然而在CPU快速成長的年代，這些設計上的優勢一下就被下一代的CPU追過，而且CPU銷量的優勢使得平均成本低了很多，如今摩爾定律的趨緩代表CPU已經不再能夠快速的成長，這也讓專用晶片的生存週期變長，變得更有經濟效益。

成本的成長高於半導體市場的成長 隨著製造技術上越來越困難，高階的半導體研發成本越來越高，半導體產業中不同的部分逐漸根據比較成本在地化。

具有最高價值的部分，如SME、FAB，晶片設計的成本成長率特別的高，單一晶片的成本（24%）高於半導體市場的成長（7%），而且半導體研發人員的數量也逐年提高。

自2000年後，半導體晶圓廠的花費每年成長11%，固定支出的提高比浮動支出還快，造成更高的進入障礙，導致只有少數的製造商能夠走在技術的前端，圖二顯示台積電的建設成本。

  目前只有兩家廠商達到5nm的等級，即台灣的台積電和南韓的三星。

英特爾目前在10nm且計畫引進7奈米和5奈米，SMIC則在14nm。

SME最貴的部分Photolithographytools從1979年的每單位450000美金在2019年已經達到1.23億美金。

而且目前只有荷蘭的ASML公司的photolithography能夠製造5nm的晶圓體。

日本的nikon是此外唯一一個製造大量可以用在90nm以下的photolithography的公司，最終，逐漸提升的photolithography研發成本會導致要從成長緩慢的半導體市場回收越來越困難。

  同時，如圖三所示，許多的預測都指出晶片的設計成本是指數型的成長，台積電每個世代的設計成本大概等同於24%的年度成本提升。

CPU由於他們的通用性，讓INTEL和AMD等美國企業能夠維持他們數十年的市場。

  隨著半導體的複雜度提升，高階韌體的設計需求和設計成本不斷升高，研發者的效率比例（研究花費除以總工資）從1971到2015年多了18倍。

單位電晶體的設計和製造成本應該是最適合拿來評斷電晶體密度成長是否符合經濟效益的標準，這個數據過去每年都減少2~30%，有些分析指出這項數據自從28nm出現後就不再減少。

除非出現新的晶片應用可以讓市長成長率提高，看起來半導體業的成長已經不足以支撐成本，而且半導體業的成長率已經比世界的經濟成長率高3％，目前半導體業的生產佔全球經濟活動的0.5%，受到美中貿易戰的影響，2019年的半導體市場是萎縮的，然而過去半導體業的成長趨勢都是鋸齒狀的，所以用多年在看比較能看出真實的情況。

每個節點晶片製造的差異 由於技術和經濟層面的挑戰，新的節點的出現速度比過去來得慢，英特爾很明顯的在引進新節點的速度上變慢了。

他們引進32nm和22nm時是和摩爾定律一致的，但14nm花了3年、10nm花了4年，而台積電在這方便並沒有變慢。

目前新節點的銷量還不至於讓這些廠商減緩他們引進新節點的速度，從2002到2016，台積電最新的節點穩定的佔他們營收的20%。

台積電的10nm和7nm分別在2016和2018年引進，也各自達到25%和35%的營收，如圖4。

  台積電新節點穩定的銷售率雖然不比2000年以前，但可能讓大家忽略了整體市場成長在變慢的事實，台積電在過去10年掌握了大概全球一半的製造市場，逐漸提高的製造成本讓越來越少廠商處在最新的節點，舉例來說，GlobalFoundry在進入14nm時失敗了，如果越來越少的晶圓廠能夠處在最新的節點，就說明摩爾定律真的逐漸變慢。

  晶圓廠會持續製造舊的晶片有幾個原因，企業要建造新的晶圓廠，或者將舊的晶圓廠升級成可以生產新的晶片需要大量的成本，所以晶圓廠一直跟上最新的節點是不可能的，因此他們會持續用低價販售舊節點的產品。

許多顧客可能對效能的需求可能沒有這麼高，很多應用使用舊的晶片就可以達到足夠快的速度。

四、摩爾定律變慢後晶片的發展方向 在摩爾定律變慢後，晶片有兩個方式可以繼續發展：製造更小的電晶體，或者利用更好的設計技術來讓每個晶片上可以容納更多的電晶體，例如在單一晶片上做出更特製的核心。

  目前在速度和效能的成長上仍有一些發展空間，但是技術難度相當的高，在2004年左右，達到65nm後，減低能量消耗的速度遇到瓶頸，然而晶圓廠的報告指出電晶體的成長在每代之間還是保持穩定。

台積電和三星宣稱他們的5nm節點比7nm可以在消耗更多能源的前提下上升15%的速度，或者可以在速度不變的情況下降低30％的能源消耗，圖5、圖6顯示台積電在節點和節點之間的速度穩定的成長。

這些速度和效率的進步對通用的CPU和AI晶片都是有益的。

  從圖表我們可以發現在這15年來電晶體的發展仍是CPU速度和效能發展的主要因素，而好的設計也有一定的幫助。

提升的電晶體密度讓特製化更可行 電晶體密度的提升除了提升電晶體本身的功能，還可以有空間設計更多不同的電路來處理各種類型的運算，晶片可以根據需要的計算來使用不同的電路，這些電路包含一些針對AI演算法或其他計算優化的部分，而AI晶片則是整片都為了AI來特製。

  除了這些特製化電路的部分，最近幾年因為增加電晶體數所產生的成長其實很有限，更多的電晶體理論上可以讓CPU擁有更多的電路來處理平行計算，然而運算的瓶頸常常受到單線程計算的影響，因為有些運算必須等到另一個運算結束才能進行。

即便一個演算法只有1%的計算必須做單線程運算，45％的能量也會被浪費。

不幸的，大部分的應用都需要或多或少的單線程運算，且處理器的能量浪費程度相當地高。

（摘譯：黃則普） 下篇:https://www.aili.com.tw/message2_detail/112.htm BACKLIST 繁體中文 English