Google谷歌第四代定制AI芯片TPU v4 Pods整合算力及性能详解

与传统的CPU和GPU组合（用于训练和部署AI模型的最常见架构）相比，第一款TPU ASIC提供了“数量级”更高的性能。

TPU V2于2018年上市，TPU V3于2019年上市， ... 广告 Google谷歌第四代定制AI芯片TPUv4Pods整合算力及性能详解 时间：2021-05-1918:32:33 作者：Challey阅读：  Google今天正式发布了其第四代人工智能TPU v4 AI芯片，其速度达到了TPU v3的2.7被。

Google实际上已经于2020年就开始在自己的数据中心中使用了新的TPU v4。

通过整合4096个TPU v4芯片成一个TPUv4Pod，一个Pod性能就达到世界第一超算“富岳”的两倍。

这些算力可能在今年晚些时候向Google Cloud用户开放此功能。

且谷歌希望未来可能应用于量子计算。

广告 Google今天正式发布了其第四代人工智能TPU v4 AI芯片，其速度达到了TPU v3的2.7被。

Google实际上已经于2020年就开始在自己的数据中心中使用了新的TPU v4。

通过整合4096个TPU v4芯片成一个TPUv4Pod，一个Pod性能就达到世界第一超算“富岳”的两倍。

这些算力可能在今年晚些时候向Google Cloud用户开放此功能。

且谷歌希望未来可能应用于量子计算。

Google TPU系列研发 Google于2016年宣布了其首款内部定制的定制AI芯片。

与传统的CPU和GPU组合（用于训练和部署AI模型的最常见架构）相比，第一款TPU ASIC提供了“数量级”更高的性能。

TPU V2于2018年上市，TPU V3于2019年上市，TPU v4于2020年推出。

借助TPUv3，这些服务器的机架需要大量的电源，以至于Google必须对其数据中心进行改造以支持液体冷却，这比传统的风冷系统具有更高的功率密度。

而今，在比TPUv3性能提高2.7倍的基础上再整合4096个TPU v4为一个TPUv4Pod，许多Pod再组成TPUv4Pods，以提供超强的算力。

除了将这些系统用于自己的AI应用程序（例如搜索建议，语言翻译或语音助手）外，Google还将TPU基础设施（包括整个TPU吊舱）以云的方式（付费）开放给Google Cloud客户。

1TPUv4Pod 整合算力=2富岳 在其I/O开发者大会上，Google今天（美国时间5月18日）宣布了其下一代定制的张量处理单元（TPU）人工智能芯片。

这是TPU芯片的第四代产品，Google称其速度是上一版本的两倍。

正如Google首席执行官桑达尔·皮查伊所指出的，这些芯片整合了4096个TPU v4，一个pod就可以提供超过一个exaflop（每秒百亿亿次浮点运算）的AI计算能力，达到目前全球最快的超级计算机“富岳”的两倍性能。

Google使用定制芯片为其自己的许多机器学习服务提供动力，但与此同时它也将把这最新一代产品作为其Google云平台的一部分提供给开发者。

"这是我们在Google部署过的最快的系统，对我们来说是历史性的里程碑，"GoogleCEO桑达尔·皮查伊说。

"以前要想获得1个exaflop的算力，通常需要建立一个定制的超级计算机，但我们今天已经部署了许多这样的计算机，很快就会在我们的数据中心有几十个TPUv4 pods，其中许多将以90%或接近90%的无碳能源运行。

而我们的TPUv4 pods将在今年晚些时候提供给我们的云客户"。

TPU是Google的第一批定制芯片之一，当包括微软在内的其他公司决定为其机器学习服务采用更灵活的FPGA时，Google很早就在这些定制芯片上下了赌注。

虽然它们的开发时间稍长，而且随着技术的变化很快就会过时，但用于特定场景的运算时可以提供明显更好的性能。

发布会上，Google还展示了其量子数据中心，尽管目前相关研究仍停留于早期阶段，但谷歌显然希望在未来有朝一日梦想成真。

基于目前的材料和实验场所限制，量子计算必须在极低的超导温度下运行。

或用于量子计算 发布会上，Google还展示了其量子数据中心，尽管目前相关研究仍停留于早期阶段，但谷歌显然希望在未来有朝一日梦想成真。

基于目前的材料和实验场所限制，量子计算必须在极低的超导温度下运行。

GoogleTPU v4 性能详解：打破MLPerf中的AI性能记录 机器学习（ML）模型的快速训练对于提供以前无法实现的新产品，服务和研究突破的研究和工程团队至关重要。

在Google，最近启用ML的功能包括更有用的搜索结果和一个可以翻译100种不同语言的ML模型。

行业标准MLPerf基准测试对比的最新结果表明，谷歌已打造出世界上最快的ML训练超级计算机。

Google使用此超级计算机以及最新的Tensor处理单元（TPU）芯片，在八项MLPerf基准测试中的六项中创造了性能记录。

图1：与任何可用性类别中最快的非Google提交相比，Google最好的MLPerf Training v0.7研究提交速度有所提高。

不论系统大小如何，总训练时间都将比较标准化，而系统大小介于8到4096个芯片之间。

使用TensorFlow，JAX和Lingvo中的ML模型实现实现了这些结果。

在不到30秒的时间里，八个模型中的四个从零开始接受了训练。

为了正确理解这一点，考虑到在2015年，花了超过三周的时间在可用的最先进的硬件加速器上训练其中一种模型。

谷歌最新的TPU超级计算机可以在五年后将相同模型的速度提高近五个数量级。

在此文中，我们将研究对比的一些细节，提交如何实现如此高的性能，以及它们对模型训练速度的所有意义。

MLPerf模型 选择MLPerf模型来代表整个行业和学术界常见的尖端机器学习工作负载。

上图中，这是每个MLPerf模型的更多详细信息： DLRM代表了排名和推荐模型，这些模型是从媒体到旅行到电子商务等在线业务的核心 Transformer是自然语言处理（包括BERT）的最新发展浪潮的基础 BERT使Google搜索获得了“过去五年中最大的飞跃”  ResNet-50是广泛用于图像分类的模型 SSD是一种对象检测模型，其重量很轻，可以在移动设备上运行 Mask R-CNN是广泛使用的图像分割模型，可用于自主导航，医学成像和其他领域（您可以在Colab中进行实验） 除了上述最大规模的行业领先结果之外，Google还使用Google Cloud Platform上的TensorFlow提供了MLPerf提交，供今天的企业使用。

世界上最快的ML训练超级计算机 Google在本次MLPerf训练回合中使用的超级计算机是Cloud TPU v3 Pod的四倍，后者在之前的比赛中创下了三项记录。

该系统包括4096个TPU v3芯片和数百个CPU主机，所有这些都通过超快速，超大规模的定制互连进行连接。

总体而言，该系统可提供430多个PFLOP峰值性能。

表1：所有这些MLPerf提交的内容都是在Google新型ML超级计算机上以33秒或更短的时间从零开始进行训练的。

2个 使用TensorFlow，JAX，Lingvo和XLA进行大规模训练 使用数千个TPU芯片训练复杂的ML模型需要在TensorFlow，JAX，Lingvo和XLA中结合算法技术和优化。

XLA是支持所有Google MLPerf提交的基础编译器技术，TensorFlow是Google的端到端开源机器学习框架，Lingvo是使用TensorFlow构建的序列模型的高级框架，而JAX是一个基于可组合功能转换的以研究为中心的新框架。

上面的记录设置规模依赖于模型并行性，按比例缩放的批次归一化，有效的计算图启动以及基于树的权重初始化。

  上表中的所有TensorFlow，JAX和Lingvo提交（ResNet-50，BERT，SSD和Transformer的实现）都在2048或4096 TPU芯片上进行了训练，每个不到33秒。

TPU v4 vs TPU v3，性能提高2.7倍 Google的第四代TPU ASIC提供了TPU v3的矩阵乘法TFLOP的两倍以上，显着提高了内存带宽，并且在互连技术方面取得了进步。

Google的TPU v4 MLPerf提交利用了这些新的硬件功能以及互补的编译器和建模优势。

结果表明，在上一届MLPerf培训比赛中，TPU v4比TPU v3的性能平均提高了2.7倍，达到了类似的规模。

图2：Google的MLPerf培训v0.7中的TPU v4结果研究提交的结果，与Google的MLPerf培训v0.6可用提交中的TPU v3结果相比，平均提高了2.7倍，在相同规模的64核心芯片条件下。

此性能改进归功于TPU v4中的硬件创新以及软件的改进。

没有有关节点、体系结构或设计的信息，但可以假定它们位于7nm类节点上。

同样，FLOP中只有2倍，而性能则是2.7倍，这意味着它们在提取原始Flop方面更加有效。

  Google已经在使用这项新技术，并将很快扩大其使用范围 Google实际上已经在使用新的TPU v4。

该公司表示已经在自己的数据中心中使用了该技术。

至于何时可以访问Google Cloud客户，这家搜索巨头尚未提供确切的日期。

但它确实说，它们将在“今年晚些时候”上市。

该公司表示，目前，它将很快在其数据中心运行数十个最新的Pod。

并指出，其中许多将“以或接近” 90％的无碳能源运行。

至少就Google自身的运营而言，使新系统也成为最高效的系统之一。

  参考来源： https://cloud.google.com/blog/products/ai-machine-learning/google-breaks-ai-performance-records-in-mlperf-with-worlds-fastest-training-supercomputer https://www.cnbeta.com/articles/tech/1129595.htm https://www.datacenterknowledge.com/machine-learning/google-more-doubles-its-ai-chip-performance-tpu-v4 编译：Challey 责编：EditorLL   阅读全文，请先 原创 本文为EET电子工程专辑原创文章，禁止转载。

请尊重知识产权，违者本司保留追究责任的权利。

Challey 暂无简介... 进入专栏 人工智能 数据中心/服务器 产品新知 技术文章 业界新闻 分享到：    返回列表 上一篇： 维信诺InVsee Pro新一代屏下摄像头将量产，中兴再度首发 下一篇： DDR5内存标准、上市时间、性能对比及价格波动等详解盘点(全面分析报告) 您可能感兴趣的文章 兴趣推荐 芯语 人工智能电网为第二次电气革命铺平了道路 本文作者观点：新的电气革命将来临——人工智能电网方面的新技术，可以将每栋建筑的每个电气端点，从简单的电源插座和开关升级到具有现代嵌入式智能的硅架构，从而大大提高建筑的可靠性、能源效率、安全保护和整体价值。

很快，人们的生活和工作空间将转变为传感器丰富的真正智能环境。

机器人物流将颠覆21世纪 如今，机器人技术正在改变世界。

即将到来的物流革命还只是电子商务角逐者战略的一部分。

电子商务不断增长，最终，现有的零售业将变得可有可无。

新的设计趋势显现电子商务的物流支柱是基于机器人技术的，21世纪的物流将完全或者相当程度上属于机器人时代。

2022年工业互联网市场10大方向（附中国产业图谱） 工业互联网千亿级的市场前景，吸引了众多厂商持续入局。

然而，入局容易做大难，细分领域众多的市场给厂商选择方向带来了不小的挑战。

结合2021年的研究，我们梳理预测了2022年更多厂商在加大投入和关注的热点市场方向，总结为10个关键词，供行业参考。

内存计算在人工智能预测中的巨大优势 人工智能在海量数据面前拥有无可比拟的速度优势，近年来计算机体系结构也发生了巨变，变得越来越难以预知和多样。

多样化的发展也让人工智能的准确性，性能和效率来到了选择的十字路口。

作为AI芯片的代表，IPU的生态发展如何了？ 而AI芯片市场如今可是相当热闹，几有成为红海之势，尤其是在国内——虽然AI芯片这个词涵盖的范围有些太过宽泛。

去年《国际电子商情》10月刊封面故事，卢涛的一段话让我们印象很深刻：“如果比较理性地分析，如今市场的整体格局可能并没有大家看到的那么‘热闹’”……“ 神经形态新秀连手催生结合处理器IP的图像感测单芯片 瑞士新创公司SynSense和法国厂商Prophesee正在合作开发一款事件导向图像传感器单芯片，结合Prophesee的Metavision图像传感器和Synsense的DYNAP-CNN神经形态处理器。

新款iPad Pro 2021成最受欢迎的 由于采用性能相对强大的M1处理器和mini-LED屏幕以及更多的创新，新款iPad Pro 2021已经成为消费者心目中最受欢迎。

然而，iPad 2却已经在全球范围内被列入“复古和过时”的名单中。

三星折叠屏手机Galaxy Z Fold 3 目前来看，折叠屏新机作为一种新的生产力工具，逐渐成为高端/平板的一种趋势，有报料称三星的Galaxy Z Fold 3发布时间或为7月，并且会引入新手势操控。

贸泽开售AnalogDevices用于卫星通 提供超丰富半导体和电子元器件™的业界知名新品引入(NPI)分销商贸泽电子(MouserElectronics)即日起备货AnalogDevicesADMV4540K波段正交解调器。

ADMV4540是一 东日信息LRmesh自组网智能水表解 基于LRmesh的自组网抄表方案抄读率高达99%以上，信号覆盖无死角 程序媛的秘密 妹纸们都放假了，我们现在聊聊她们的秘密。

​程序媛，特殊群体程序员队伍中的特殊一部分，相当稀少。

你可知道，世界上第一位程序员是位妹纸，名叫AdaLovelace​没听说过？他爹是英国鼎鼎大名的诗人拜伦 苹果正在测试M2处理器 芯片就业培训课程推荐：更新至70课时！已进入实训阶段！畅销就业培训课《芯片验证从入门到精通》，2期优惠仅最后10个名额彭博社消息，最近有开发人员告诉彭博社专栏作家MarkGurman，最近几周苹果一 成也宁德时代，败也宁德时代？ 文 |金融街老李A股的成长板块，成也宁德时代，败也宁德时代。

 昨天，A股三大指数开盘后持续下挫，在两会行情小幅反弹后，创业板风向标、成长股领头羊宁德时代大跌7.5%，以454.89元/股收盘，收盘价 原来发动机盖的开启方式可以这么酷炫  文 |七号-宋十年前，手机开盖玩法非常丰富。

有经典的飞利浦E219翻盖式，有犀利的诺基亚5300滑动式，还有帅气的摩托罗拉V70旋转式。

相比于现在大砖头直接拍你脸上，当时别提多丰富。

约好似的，汽 昆山友达二期项目首批Nikon曝光机设备入场 来源：第一昆山今年2月8日，苏州市电子信息产业创新集群建设推进大会暨友达光电低温多晶硅项目启动仪式在昆山举行。

作为大会焦点之一，昆山友达光电低温多晶硅二期项目正式启动。

增加总投入18亿美元的昆山友达 开关电源芯片U6117关注两会“芯”提案 开关电源芯片U6117关注两会“芯”提案银联宝电子科技今年的两会期间，人大代表们关注芯片行业，聚焦“缺芯”、“国产化”等关键词，为芯片行业未来发展贡献了许多建议。

银联宝电子科技积极发展自身优势，为芯片 精致的生活，不过是一方人间烟火 文 |优优什么是MPV的真正用途？每当想到这个问题之时，我总是能想到在我记忆深处的，关于一些美国家庭电影的小桥段。

在那些美国电影中，每个家庭都有两到三个孩子，同时也养着一条宠物狗。

而承载全家人出行的 联想｜成立合肥新公司！经营范围含集成电路设计 来源：企查查、财联社企查查显示，3月4日，合肥山月智能科技有限公司成立，法定代表人为YANMENGHUI，注册资本2000万元，经营范围包含：物联网应用服务；集成电路设计；智能控制系统集成等。

企查 32.768khz晶振的规格尺寸 0132.768kHz产生的振荡信号可以通过分频器进行15次分频后可以得到1Hz的秒信号。

RTC则通过32.768kHz的晶振中获取1Hz的时钟信号来确定时间和日期。

32.768K=32768=2^1 DIC2022【屏行世界聚势为新】主题KV全球首发，观众预登记正式开启 以显示为媒，以科技为魂，DIC 2022召开在即倒计时整整4个月。

你是否期待着一场声势浩大 全球显示行业规模最大规格最高且产业链最全的年度风向标盛会？你是否期待着一场全球显示产业千人标杆性商业高峰论坛 广告 热门评论 最新评论 换一换 换一换 热门推荐 广告 广告 广告 EE直播间 更多>> 在线研讨会 更多>> 学院 录播课 直播课 更多>> 更多>> 更多>> 更多>> 广告 最新下载 最新帖子 最新博文 广告 × 广告  微信扫一扫   首页 资讯 存储技术 EDA/IP/IC设计 无线技术 控制/MCU 模拟/混合信号 放大/调整/转换 接口/总线/驱动 嵌入式设计 汽车电子 工业电子 人工智能 制造/封装 通信 EMC/EMI/ESD 传感/MEMS 电源管理 光电及显示 测试与测量 技术文章 专题报道 厂商新闻 eeTV EE|Times全球联播 CEO专栏 图集 技术资源 视频中心 在线研讨会 EE直播间 下载 小测验 厂商专区 ASPENCOREStudio ASPENCORE学院 社区 论坛 博客 问答 下载中心 评测中心 面包芯语 E币商城 技术文库 社区活动 ASPENCORE学院 活动 临港高峰论坛 2021全球双峰会 2021中国IC领袖峰会暨IC成就奖 工业4.0技术及应用峰会 第22届电源管理论坛 国际AIoT生态发展大会 更多行业及技术活动 工程师社群活动 射频与测试论坛 杂志 杂志订阅 杂志声明 编辑计划表 电子杂志下载 关于我们 EE直播间 2022IIC上海 汽车电子专题 西安射频论坛 标题 简介 内容 作者 全部    标题 简介 内容 作者 全部  首页 资讯 存储技术 EDA/IP/IC设计 无线技术 控制/MCU 模拟/混合信号 放大/调整/转换 接口/总线/驱动 嵌入式设计 汽车电子 工业电子 人工智能 制造/封装 通信 EMC/EMI/ESD 传感/MEMS 电源管理 光电及显示 测试与测量 技术文章 专题报道 厂商新闻 eeTV EE|Times全球联播 技术资源 视频中心 在线研讨会 EE直播间 下载 小测验 厂商专区 ASPENCOREStudio ASPENCORE学院 社区 论坛 博客 问答 下载中心 评测中心 面包芯语 E币商城 技术文库 社区活动 ASPENCORE学院 活动 临港高峰论坛 2021全球双峰会 2020中国IC领袖峰会 2020中国IC设计成就奖 第22届电源管理论坛 国际AIoT生态发展大会 更多行业及技术活动 工程师社群活动 射频与测试论坛 杂志 杂志订阅 杂志声明 编辑计划表 电子杂志下载 关于我们 图集 CEO专栏 双峰会 2021全球双峰会 CEO峰会回放 供应链峰会回放 全球电子成就奖 分销商卓越表现奖 学院 EE直播间 AIOT大会 × 杂志声明 我司杂志提供免费订阅，任何第三方平台的赠送或售卖行为均未获得我司授权，我司保留追究其法律责任的权利！ 向右滑动：上一篇 向左滑动：下一篇 我知道了 