針對AI SoC嵌入式處理器IP進行標準檢測的7個竅門 - Synopsys

處理器標準檢測(processor benchmarking)就是種經過檢驗而可靠的方法，能幫助工程師找出一些答案。

但即使如此，想要在處理器上執行的AI 演算法類型仍會對其效能產生 ... GoBack 解決方案 產品 支援 關於我們 SearchSynopsys.com GlobalSites Menu English 日本語 简体中文 Русский 產業應用 航太與國防 車用 金融服務 高效能運算(HPC) 物聯網(IoT) 醫療 記憶體 5G和行動通訊 光學設計 光子解決方案 公共部門 技術分類 3DIC AI及機器學習 應用安全測試 雲端運算 設計技術協同優化(DTCO) DevSecOps 低功耗 FinFET 開放原始碼安全 晶片生命週期管理 軟體供應鏈安全 DSO.ai 由人工智慧驅動的設計應用 瞭解更多→ 晶片生命週期管理(SLM) 下載白皮書→ 瞭解所有解決方案→ 晶片設計及驗證 矽智財(SIP) 軟體安全與品質 晶片設計及驗證 新思科技是晶片設計自動化解決方案與服務的領導品牌 客製化設計平台 FusionDesign平台 晶片生命週期管理平台 驗證平台 TCAD 原子尺度建模 光罩合成 光罩資料(MaskData)準備 良率管理 3DIC設計 AMS模擬 測試自動化 RTL設計及合成 實體實作 實體驗證 簽核 流程自動化 FPGA設計 模擬 靜態及形式驗證 偵錯與有效區 驗證IP 虛擬原型設計 模擬仿真 原型設計 SoC驗證自動化 FPGA驗證 CODEV LightTools LucidShape ScatteringMeasurements OptoCompiler OptSim 光子裝置工具 矽智財(SIP) 在介面IP、基礎IP及實體層IP領域排名第一 USB PCIExpress DDR MIPI CXL CCIX 高速SerDesPHYs 乙太網路 Die-to-Die HBM HDMI 行動儲存裝置 藍牙 多協定PHYs ARC開發工具 ARC生態系 ASIP工具 LogicLibraries 記憶體編譯器 DuetPackages HPC設計工具組 PVT感測器 非揮發性記憶體(NVM) 信任根(RootofTrust) 加密IP 介面安全模組 安全協定加速器 DesignWare資料庫 基礎核心 驗證IP IP子系統 訊號/功率完整性分析及IP硬化 IPPrototypingKits 晶片bring-up支援 人工智慧(AI) 車用 數據中心 5G行動通訊 DesignWareIPPortfolio 下載產品手冊→ 軟體安全與品質 應用安全性及軟體管理的全球領導者 軟體安全開發 應用安全測試協作 漏洞關聯性和排序 DevSecOps合成 靜態分析(SAST) 軟體組成分析(SCA) 交互式分析(IAST) 動態分析(DAST) 滲透測試 網路協議模糊測試 API安全測試 安全測試服務 應用安全策略 威脅和風險評估 安全訓練 開放原始碼查核 實作和部署 2021GartnerMagicQuadrantforApplicationSecurityTesting 下載報告→ 瞭解所有產品→ 支援 SolvNetPlus 訓練及課程 總覽 關於我們 學術界計劃 福利 職缺 包容與多元化 協同合作計劃 管理團隊 合作夥伴 服務 企業公民責任 SNUG 大學合作計劃 資源 部落格 活動訊息 技術詞彙 新聞動態 訓練課程 線上研討會 SNUG2022 即刻註冊→ 追隨你的熱誠 瀏覽職缺 即刻申請→ 解決方案 產業應用 技術分類 產品 晶片設計及驗證 矽智財(SIP) 軟體安全與品質 支援 支援 SolvNetPlus 訓練及課程 關於我們 總覽 資源 Home 光學設計解決方案 台灣 關於我們 新聞集錦 研討會及訓練課程 大學合作計畫 聯絡我們 VideoResources 部落格 資源 部落格 2021年高效能運算及雲端趨勢預測 2021年人工智慧晶片：五大創新預測 人工智慧(AI)如何賦予低解析度影像新生命 數小時內快速在十億閘級(Billion-Gate)設計中獲得可行的功耗驗證結果 針對超融合(Hyper-Convergent)晶片設計需要新的電路模擬方式 何謂晶片生命週期管理(SLM)？ 無懼短缺晶片創新仍蓬勃發展 利用人工智慧(AI)設計的晶片超越摩爾定律成為半導體演進之未來 使用向外擴展的FPGA原型設計以趨近實際晶片 是否曾好奇是什麼在推動全球創新？ 在高速的SoCEmulation上執行Trillion-Cycle等級的應用程式工作量 躍上雲端的EDA技術如何推動半導體創新 什麼是低功耗設計？ 工程師會被自動晶片設計取代嗎？ 專訪AmitSanghani：淺談SLM 車用電子開發創新改革迎向數位未來 提高偵錯生產力是顛覆FPGAPrototyping現狀的關鍵 追求卓越、精益求精：利用單一整合的平台強化3DIC設計生產力 AI需要全新的低功耗設計方法 針對AISoC嵌入式處理器IP進行標準檢測的7個竅門 人工智慧與AI晶片設計洐生出全新的「先有雞還是先有蛋」難題 人工智慧的下一步：2022年五大必關注的應用與趨勢 可測試性設計(DFT)存在於SoC設計的起點、終點及整個設計流程的所有環節 針對AISoC嵌入式處理器IP進行標準檢測的7個竅門 針對AISoC嵌入式處理器IP進行標準檢測的7個竅門 本文原文由GordonCooper張貼 英文原文：7TipsforBenchmarkingEmbeddedProcessorIPforAISoCs 從智慧音箱、數位相機，到邊緣伺服器與超大規模資料中心，這類仰賴深度學習神經網路，以提供可操作性感知能力的應用不勝枚舉。

賦予這些系統生命是系統中強固的AISoC，也就是利用強大的嵌入式處理器執行運算密集型演算法的SoC。

晶片設計工程師在為AI應用設計晶片組時，顯然會想將最好的AI處理器與神經網路加速器整合進系統裡。

但是，該如何確定什麼才是真正最適合所開發中的應用程序的獨特要求呢？處理器標準檢測(processorbenchmarking)就是種經過檢驗而可靠的方法，能幫助工程師找出一些答案。

但即使如此，想要在處理器上執行的AI演算法類型仍會對其效能產生顯著影響。

那麼，又該如何準確比較可用的處理器呢？ 這篇部落格文章，會分享一些神經網路加速器效能標準檢測的考量因素，以及為AISoC選擇理想嵌入式處理器IP的重要訣竅，並深入解析為何可程式化(programmable)處理器能讓比較過程變得更簡單。

選擇神經網路來進行精確的標準檢測 AI演算法日益複雜，也越來越針對手持式產品的應用發展。

此外，有很多的變數會影響處理器針對特定應用的執行效能，多到難以進行公平合理的比較。

用來執行簡單演算法的處理器，可能不足以執行較複雜的演算法，而所得到的功率與效能標準資料也無法在晶片上提供精確的結果。

對AI處理器進行標準檢測以執行卷積神經網路(CNN)，會涉及許多考量因素。

簡單來說，如果有個常見的神經網路和相同的資料與係數，就可以在架構中執行這個神經網路以產生效能結果，而這通常是精確的量測結果。

然而，對於即時的嵌入式系統，則需要將功率、區域、延遲、頻寬等參數納入標準檢測，才能得知更真實的全貌。

要理解SoC整體的效能，也需要考量晶片製程節點(processnode)、時脈速度(clockspeed)及網路的優化措施(如壓縮和量化)等方面的問題。

由於標準檢測的目的是比較兩個以上的架構，以驗證某個特定架構是否能符合應用需求，所以清楚瞭解自己的系統與其限制是非常重要的。

有很多的變數會影響處理器針對特定應用的效能，多到難以進行公平合理的比較 目前沒有所謂的業界標準神經網路可針對AI硬體進行標準檢測，但MLPerf標準檢測套件已經非常接近這個標準。

MLPerf標準是由開放式工程聯盟MLCommons所開發，可算是實質上的業界標準指標，可量測機器學習效能，現在也包含資料集和最佳實行範例。

在推論方面，此聯盟的神經網路還包含數據中心、邊緣運算、行動運算與微型資料中心等相關應用。

在MLPerf標準檢測套件中，最常用的神經網路之一是ResNet-50，一種50層深的CNN，可用以進行物件分類。

此神經網路可做為構件(buildingblock)來創造更進階的標準檢測神經網路。

MLPerf所提供的神經網路，可視為評估特定處理器架構效率的起始點。

當然，每家處理器廠商都有其誘因，要將其神經網路加速器在MLPerf上盡可能最佳化。

這表示，如果單看MLPerf結果，可能無法衡量他們工具的好壞。

這點極其重要，因為這些工具必須要能準確執行神經網絡映射，才能讓特定的處理器最佳化。

如果以MLPerf作為標準檢測的起點，那麼也可選用一些非標準神經網路，讓供應廠商在短時間內進行優化，使其更了解他們的處理器效能。

為嵌入式AI處理器定義標準檢測參數 既然我們已經討論過標準檢測過程中的一些考量因素，接下來分享七個為SoC選擇嵌入式AI處理器IP的訣竅： 混合使用標準與自訂神經網路來進行AI硬體的標準檢測。

對現成神經網路進行標準檢測，可以衡量廠商自行最佳化的能力。

測試非標準和自訂神經網路，則能衡量廠商的工具映射演算法(mapalgorithms)的能力。

量測效能時，單位請使用週期/幀或在某特定赫數(Hz)的每秒幀數(fps)。

若使用fps，則應提及頻率(請謹慎使用fMAX/峰值，業界對於「峰值」並沒有標準的定義)。

此外，請注意每秒一兆次操作(TOPS)基本上是一種行銷數字，不該用於標準檢測。

TOPS呈現出AI晶片在特定時間內可進行多少次運算操作，但不會說明晶片可進行的操作類型或品質，也不考慮功耗。

將壓縮(可改善fps)和準確度配對。

壓縮過多會對準確度造成負面影響，因此必須取得兩者的量測值。

明確說明頻寬限制。

隨著神經網路加速器的規模成長，記憶體頻寬成為AI系統日益嚴重的瓶頸。

因此，「無限頻寬」的假設會導致標準檢測過於樂觀。

對功率模擬資料抱持懷疑。

廠商的功率估計值可能會有很大差異。

可能的話，請選擇AI工作負載(workload)仿真模擬結果，而非模擬或靜態分析。

依據標準調整面積。

請確保所提供的面積與標準檢測時的設定(記憶體大小、設定選項等等)相同。

由於漏電狀況因使用案例不同而有明顯差異，請依據工作溫度調整面積/功率。

接下來，讓我們深入瞭解「功率」這項在運算密集型AI工作負載的功耗/效能取得平衡的關鍵要素。

由於動態與靜態功耗皆受製程技術微縮的影響，因此需要不斷做出取捨，在功耗和性能需求之間取得平衡。

為能校準處理器選擇和應用功率，IP區塊的早期和準確功率預估是非常重要的。

由於單一效能與功率指標不夠全面，我們也必須考量進行功率預估的條件。

舉例來說，在評估CNN功耗時，最準確的指標是典型神經網路的能量(單位為每幀焦耳數)。

不過，計算平均每幀功率是件深具挑戰性的事。

許多設計人員會選擇測量神經網絡其中一個卷積層的能源效率，但即便是這個方法也一樣困難重重，因為單一「代表」層不一定具有代表性。

為了達到最高的功率測量準確度，需要一個能夠在完整佈局的網表(netlist)上執行數十億次CNN週期的解決方案。

模擬會花太多時間。

另一方面，仿真模擬則能幫助IP開發者與SoC設計人員，在幾分鐘或幾小時內準確計算嵌入式處理器數億個處理週期的功率，而不會花上數週甚至數個月的時間。

確保對AI處理器IP選擇的信心 就算完成了標準檢測並選擇了處理器，神經網絡的前景展望也不會原地踏步。

隨著神經網路持續進化，AI處理器必須跟上神經網路最新發展的腳步，而這是個不斷進行中的目標。

你也需要一個硬體加速的解決方案，其功率與面積都已盡可能最佳化，同時還可程式化以提供彈性。

有新功能可用時，可以修改可程式化處理器的程式碼以支援這些功能。

實際上，透過軟體管理新興的神經網路功能，某種程度上可以防止它過時。

新思科技的技術專家利用可程式化的新思科技 DesignWareARC®EV處理器，與客戶密切合作數百項標準和非標準神經網路標準檢測，以促進其嵌入式影像解決方案，並提供準確的fps、功率、面積、頻寬與延遲等相關資料。

我們的客戶可以利用新思科技詳盡的開發工具作出更好的取捨，比如，以更大的內部SRAM換取頻寬的提升，或為了更大的神經網路而增加面積。

以較低的頻率執行以節省功耗也是一種取捨的選擇，而其他人則可能以性能為優先考量而非準確度。

ARCEV處理器包括可快速進行神經網路標準檢測的各項工具。

作為新思科技豐富的AI解決方案組合之一，新思科技提供專門化的處理器、記憶體性能和即時連接性IP，可加快產品上市時程。

除了ARCEV處理器之外，新思科技 ASIPDesigner工具支援平行性的自訂處理與專用的資料路徑要素，可用於專用指令集處理器(application-specificinstruction-setprocessors;ASIPs)的設計與實作。

新思科技 DesignWare記憶體IP 為頻寬、效能和快取一致性(cachecoherency)等不同的記憶體限制提供高效率架構。

此外，新思科技 IP 則為視覺、自然語言理解和情境感知等AI應用提供可靠且即時的連接性，可連接至CMOS影像感測器、麥克風和運動感測器。

總結 從辨識語音指令的智慧音箱，到模擬氣候變化模式的高效能運算應用，AI在我們的生活中變得越來越無所不在。

讓這些應用成真的AISoC，需要能夠滿足密集型運算工作負載需求的處理器IP。

隨著標準檢測神經網路持續進化，為了建立相關應用開發所需的高效能AISoC架構，選用可預測功率、面積與性能的嵌入式處理器至關重要。

SynopsysAIoTSummit2021線上研討會，提供最新ARC處理器IP和相關軟硬體技術整合的深入資訊。

歡迎報名參加，以瞭解半導體市場發展趨勢以及針對廣泛嵌入式領域，包括物聯網、車用安全、嵌入式視覺、軟體安全等特定基於ARC的解決方案。

新聞集錦 NEW新思科技SiliconSmart元件庫特性解決方案獲台積公司N5、N4和N3先進製程認證 NEW新思科技與達梭系統合作，打造業界首創全方位照明設計平台 台灣新思科技員工積極參與慈善志工服務以筆電捐贈等系列公益活動慶祝台灣新思三十周年 思科技旗艦產品FusionCompiler解決方案協助客戶實現超過500次投片(Tapeouts)，進一步擴展業界領導地位 台灣新思科技獲頒經濟部「創新應用夥伴獎」表彰對促進台灣人工智慧與物聯網產業合作之卓越貢獻 感念劉炯朗校長推動科學教育與科技產業發展新思科技擴大辦理優秀博士生獎學金 研討會 NEW新思科技AIoTSummit2021線上研討會 SNUGTaiwan2021 RelatedItems 關於我們 聯絡我們