張量處理單元- 維基百科，自由的百科全書

張量處理單元（英文：Tensor Processing Unit，簡稱：TPU），也稱張量處理器，是Google 開發的專用積體電路（ASIC），專門用於加速機器學習。

自2015 年起，Google就 ... 張量處理單元 維基百科，自由的百科全書 跳至導覽 跳至搜尋 張量處理單元（TPU）推出年份2016年5月，​5年前​（2016-05）設計公司Google體系結構類型神經網路機器學習 張量處理單元（TPU）3.0 張量處理單元（英文：TensorProcessingUnit，簡稱：TPU），也稱張量處理器，是Google開發的專用積體電路（ASIC），專門用於加速機器學習。

[1]自2015年起，Google就已經開始在內部使用TPU，並於2018年將TPU提供給第三方使用，既將部分TPU作為其雲基礎架構的一部分，也將部分小型版本的TPU用於銷售。

目次 1總覽 2產品 2.1第一代TPU 2.2第二代TPU 2.3第三代TPU 2.4第四代TPU 3參見 4參考文獻 5外部連結 總覽[編輯] 2016年5月，Google在GoogleI/O上宣布了張量處理單元，並表示TPU已經在其資料中心內部使用了超過一年。

[2][3]該晶片是專門為Google的TensorFlow框架（一個符號數學庫，用於機器學習應用程式，如神經網路）設計的。

[4]不過，截至2017年，Google也將CPU和GPU用於其他類型的機器學習。

[2]其他供應商也設計了自己的AI加速器，並針對嵌入式和機器人市場。

Google的TPU是專有的，一些TPU的型號已經上市。

在2018年2月12日，紐約時報報導稱Google將「允許其他公司通過其雲端運算服務購買對這些晶片的存取權」。

[5]Google曾稱，它們已用於AlphaGo與李世乭的人機圍棋對戰[3]以及AlphaZero系統中。

Google還使用TPU進行Google街景中的文字處理，並且能夠在不到五天的時間內找到Google街景資料庫中的所有文字。

在Google相簿中，單個TPU每天可以處理超過1億張相片。

TPU也被用在Google用來提供搜尋結果的RankBrain中。

[6] 與圖形處理單元（GPU）相比，TPU被設計用於進行大量的低精度計算（如8位的低精度）[7]，每焦耳功耗下的輸入/輸出操作更多，但缺少用於光柵化/紋理對映的硬體。

[3] 根據NormanJouppi（英語：NormanJouppi）的說法，TPU可以安裝在散熱器組件中，從而可以安裝在資料中心機架上的硬碟機插槽中。

[2] 產品[編輯] TPUv1 TPUv2 TPUv3 TPUv4 Edgev1 推出時間 2016年 2017年 2018年 2021年 2018年 製程 28nm 16nm 16nm 7nm 裸晶尺寸/mm2 331 <625 <700 <400 片上儲存/MiB 28 32 32 144 時鐘速度/MHz 700 700 940 1050 記憶體/GB 8GBDDR3 16GBHBM 32GBHBM 8GB 熱設計功耗/W 75 280 450 175 2 TOPS 23 45 90 ？ 4 第一代TPU[編輯] 第一代TPU是一個8位矩陣乘法的引擎，使用複雜指令集，並由主機通過PCIe3.0匯流排驅動。

它採用28nm工藝製造，裸晶尺寸小於331mm2，時鐘速度為700MHz，熱設計功耗為28–40W。

它有28MiB 的片上儲存和4MiB的32位元累加器，取8位乘法器的256×256脈動陣列的計算結果。

[8]TPU還封裝了8GiB的雙連結2133MHzDDR3SDRAM，頻寬達到34GB/s。

[9]TPU的指令向主機進行資料的收發，執行矩陣乘法和卷積運算，並應用啟用功能。

[8] 第二代TPU[編輯] 第二代TPU於2017年5月發布。

[10]Google表示，第一代TPU的設計受到了記憶體頻寬的限制，因此在第二代設計中使用16GB的高頻寬記憶體，可將頻寬提升到600GB/s，效能從而可達到45TFLOPS。

[9]TPU晶片隨後被排列成效能為180TFLOPS的四晶片模組[10]，並將其中的64個這樣的模組組裝成256晶片的Pod，效能達到11.5PFLOPS。

[10]值得注意的是，第一代TPU只能進行整數運算，但第二代TPU還可以進行浮點運算。

這使得第二代TPU對於機器學習模型的訓練和推理都非常有用。

Google表示，這些第二代TPU將可在Google計算引擎上使用，以用於TensorFlow應用程式中。

[11] 第三代TPU[編輯] 第三代TPU於2018年5月8日發布。

[12]Google宣布第三代TPU的效能是第二代的兩倍，並將部署在晶片數量是上一代的四倍的Pod中。

[13][14]與部署的第二代TPU相比，這使每個Pod的效能提高了8倍（每個Pod中最多裝有1,024個晶片）。

第四代TPU[編輯] 第四代TPU於2021年5月19日發布。

Google宣布第四代TPU的效能是第三代的2.7倍，並將部署在晶片數量是上一代的兩倍的Pod中。

與部署的第三代TPU相比，這使每個Pod的效能提高了5.4倍（每個Pod中最多裝有4,096個晶片）。

參見[編輯] 視覺處理單元（英語：Visionprocessingunit），一種專門用於視覺處理的小型裝置 TrueNorth，一種用於類比脈衝神經網路，而非計算低精度張量的小型裝置 神經處理單元 認知計算（英語：Cognitivecomputer） TensorCore（英語：TensorCore），輝達公司提出的類似的架構 參考文獻[編輯] ^CloudTPU.GoogleCloud.[2020-07-20]（中文（中國大陸））.  ^2.02.12.2Google'sTensorProcessingUnitexplained:thisiswhatthefutureofcomputinglookslike.TechRadar.[2017-01-19]（英語）.  ^3.03.13.2Jouppi,Norm.GooglesuperchargesmachinelearningtaskswithTPUcustomchip.GoogleCloudPlatformBlog.May18,2016[2017-01-22].（原始內容存檔於2016-05-18）（美國英語）.  ^"TensorFlow:Opensourcemachinelearning"（頁面存檔備份，存於網際網路檔案館）"Itismachinelearningsoftwarebeingusedforvariouskindsofperceptualandlanguageunderstandingtasks"—JeffreyDean,minute0:47/2:17fromYoutubeclip ^GoogleMakesItsSpecialA.I.ChipsAvailabletoOthers.TheNewYorkTimes.[2018-02-12]（英語）.  ^Google'sTensorProcessingUnitcouldadvanceMoore'sLaw7yearsintothefuture.PCWorld.[2017-01-19]（英語）.  ^Armasu,Lucian.Google'sBigChipUnveilForMachineLearning:TensorProcessingUnitWith10xBetterEfficiency(Updated).Tom'sHardware.2016-05-19[2016-06-26].  ^8.08.1 Jouppi,NormanP.;Young,Cliff;Patil,Nishant;Patterson,David;Agrawal,Gaurav;Bajwa,Raminder;Bates,Sarah;Bhatia,Suresh;Boden,Nan;Borchers,Al;Boyle,Rick;Cantin,Pierre-luc;Chao,Clifford;Clark,Chris;Coriell,Jeremy;Daley,Mike;Dau,Matt;Dean,Jeffrey;Gelb,Ben;Ghaemmaghami,TaraVazir;Gottipati,Rajendra;Gulland,William;Hagmann,Robert;Ho,C.Richard;Hogberg,Doug;Hu,John;Hundt,Robert;Hurt,Dan;Ibarz,Julian;Jaffey,Aaron;Jaworski,Alek;Kaplan,Alexander;Khaitan,Harshit;Koch,Andy;Kumar,Naveen;Lacy,Steve;Laudon,James;Law,James;Le,Diemthu;Leary,Chris;Liu,Zhuyuan;Lucke,Kyle;Lundin,Alan;MacKean,Gordon;Maggiore,Adriana;Mahony,Maire;Miller,Kieran;Nagarajan,Rahul;Narayanaswami,Ravi;Ni,Ray;Nix,Kathy;Norrie,Thomas;Omernick,Mark;Penukonda,Narayana;Phelps,Andy;Ross,Jonathan;Ross,Matt;Salek,Amir;Samadiani,Emad;Severn,Chris;Sizikov,Gregory;Snelham,Matthew;Souter,Jed;Steinberg,Dan;Swing,Andy;Tan,Mercedes;Thorson,Gregory;Tian,Bo;Toma,Horia;Tuttle,Erick;Vasudevan,Vijay;Walter,Richard;Wang,Walter;Wilcox,Eric;Yoon,DoeHyun.In-DatacenterPerformanceAnalysisofaTensorProcessingUnit™.Toronto,Canada.June26,2017.arXiv:1704.04760 .  ^9.09.1Kennedy,Patrick.CaseStudyontheGoogleTPUandGDDR5fromHotChips29.ServeTheHome.22August2017[23August2017].  ^10.010.110.2Bright,Peter.Googlebrings45teraflopstensorflowprocessorstoitscomputecloud.ArsTechnica.17May2017[30May2017].  ^Kennedy,Patrick.GoogleCloudTPUDetailsRevealed.ServeTheHome.17May2017[30May2017].  ^Frumusanu,Andre.GoogleI/OOpeningKeynoteLive-Blog.8May2018[9May2018].  ^Feldman,Michael.GoogleOffersGlimpseofThird-GenerationTPUProcessor.Top500.11May2018[14May2018].  ^Teich,Paul.TearingApartGoogle'sTPU3.0AICoprocessor.TheNextPlatform.10May2018[14May2018].  外部連結[編輯] CloudTensorProcessingUnits(TPUs)(GoogleCloud上的文件) PhotoofGoogle'sTPUchipandboard PhotoofGoogle'sTPUv2board PhotoofGoogle'sTPUv3board PhotoofGoogle'sTPUv2pod 閱論編可微分計算概論 可微分編程 神經圖靈機（英語：NeuralTuringmachine） 可微分神經電腦（英語：Differentiableneuralcomputer） 自動微分 神經形態工程（英語：Neuromorphicengineering） 圖型識別 概念 梯度下降 電纜理論（英語：Cabletheory） 聚類分析 迴歸分析 過適 對抗機器學習（英語：Adversarialmachinelearning） 運算學習理論（英語：Computationallearningtheory） 關注（英語：Attention(machinelearning)） 卷積 損失函式 反向傳播演算法 啟用功能 Softmax S函式 線性整流函式 正則化 資料集 程式語言 Python Julia 應用 機器學習 人工神經網路 深度學習 科學計算 人工智慧 深偽技術 硬體 TPU VPU（英語：Visionprocessingunit） 憶阻器 SpiNNaker（英語：SpiNNaker） 軟體庫 TensorFlow PyTorch Keras Theano 實現音訊-視覺 AlexNet WaveNet 人體圖像合成 HWR OCR 語音合成 語音辨識 臉部辨識系統 AlphaFold DALL-E（英語：DALL-E） 語文 Word2vec Transformer（英語：Transformer(machinelearningmodel)） BERT NMT 辯論者專案（英語：ProjectDebater） 華生 GPT-3 決策 AlphaGo Q學習 SARSA（英語：State–action–reward–state–action） OpenAIFive（英語：OpenAIFive） 自動駕駛汽車 MuZero 人物 AlexGraves（英語：AlexGraves(computerscientist)） 伊恩·古德費洛 約書亞·本希奧 傑弗里·辛頓 楊立昆 吳恩達 傑米斯·哈薩比斯 DavidSilver（英語：DavidSilver(computerscientist)） 李飛飛 機構 DeepMind OpenAI MITCSAIL Mila（英語：Mila(researchinstitute)） GoogleBrain FAIR 主題 電腦編程 技術 類屬 人工神經網路 機器學習 取自「https://zh.wikipedia.org/w/index.php?title=张量处理单元&oldid=68755834」 分類：​集成電路機器學習Google微處理器隱藏分類：​CS1英語來源(en)CS1美國英語來源(en-us)含有英語的條目 導覽選單 個人工具 沒有登入討論貢獻建立帳號登入 命名空間 條目討論 臺灣正體 已展開 已摺疊 不转换简体繁體大陆简体香港繁體澳門繁體大马简体新加坡简体臺灣正體 查看 閱讀編輯檢視歷史 更多 已展開 已摺疊 搜尋 導航 首頁分類索引特色內容新聞動態近期變更隨機條目資助維基百科 說明 說明維基社群方針與指引互助客棧知識問答字詞轉換IRC即時聊天聯絡我們關於維基百科 工具 連結至此的頁面相關變更上傳檔案特殊頁面靜態連結頁面資訊引用此頁面維基數據項目 列印/匯出 下載為PDF可列印版 其他語言 CatalàDeutschEnglishEspañolEestiفارسیSuomiFrançaisItaliano日本語한국어LietuviųNederlandsРусскийУкраїнська 編輯連結