泓觀科技：面向IoT首創異步AI晶片，另闢蹊徑的潛行者重裝上陣

自2017年以來，人工智慧（AI）的發展熱潮已經蔓延到集成電路領域，不僅如英偉達、海思、英特爾等大廠但凡有個風吹草動就能霸占頭條，諸多新晉公司也相繼重磅發布了有關人工智慧晶片的產品。

如果說當今科技界什麼最火，AI晶片毫無疑問是最大熱門之一。

泓觀科技（otureo.ai），由三位清華校友創立於2015年的科技型公司，一直致力於通過邊緣計算實現深度學習高效率賦能於嵌入端設備和應用，與上下游合作夥伴攜手共築人工智慧產業生態。

一貫低調潛行的他們，也在用著自己的方式開拓著另一條產品線，如今破繭而出——面向物聯網（IoT）物聯端率先推出超低功耗異步AI晶片，上演了一次另闢蹊徑的厚積薄發。

泓觀科技選擇了一個AI晶片領域中獨特的發力點潛心磨礪，提出並設計了一種全新的基於異步架構的卷積神經網絡AI晶片，劍指loT物聯端的超低功耗智能化場景應用需求，可以極大的降低loT場景下智能數據分析所需的功耗。

目前，首款該類晶片已經由泓觀科技的團隊率先設計完成並實現流片（如下圖），這是迄今面向IoT領域的異步架構AI晶片的第一次問世。

泓觀科技的創始人向雷鋒網(公眾號：雷鋒網)介紹到：「從近20年前我們進入清華大學微電子學專業讀書時算起，雖然後面的職業生涯不斷帶來更多元化的知識背景，但畢竟都算是集成電路這一行里多年的從業者了，對於晶片這個龐大產業的自身規律有著自己的理解和認知。

既然決定在AI晶片這裡也做點兒事情，構建第二產品線，我們希望選擇一個獨特而有趣的著力點，對應具有一定差異化的應用領域和生態位置，同時可以與我們依託平台型系統晶片的第一產品線，兼容互補，相得益彰。

」

泓觀科技所採用的異步架構，與這個領域中先前已推出的各類AI晶片有著顯著的區別。

先前的AI晶片有一個共同的特點，就是遵循功能與性能優先的設計原則。

其針對的應用場景主要分為兩類：基於雲端的在線計算和基於前端設備的離線計算。

前者如Google TPU系列、比特大陸Sophon系列等；後者如Movidius Myriad系列、海思包含NPU的Kirin970、Apple包含Neural Engine的A11等，即使作為前端AI晶片，其應用環境也集中在手機、無人機等高端設備上。

然而對於IoT設備及其應用場景而言，上述AI晶片的架構與特點並不適合。

「一則因為loT 設備通常專注於某種單一功能，例如針對視頻採集的設備一般情況下無需運行語音識別和自然語言處理的相關算法；二則相較於手機、無人機這樣的高端設備，大部分loT設備的剛性需求在於超低功耗，性能並非第一考慮因素。

」泓觀科技的創始人這樣告訴雷鋒網，「像我們這樣，遵循著完全不同的設計原則和技術路線來實現卷積神經網絡AI晶片，可以說有點卓爾不群甚至頗為超前。

就目前已知的媒體報導，我們應該是率先實現異步卷積神經網絡電路方案並實現流片的創業公司，不論在中國還是世界範圍內。

」

關於這款具有首創意義的超低功耗異步卷積神經網絡AI晶片，泓觀科技的創始人向雷鋒網予以了頗為詳盡的講解。

「首先要從架構設計上入手。

IoT 設備大多無需集成通用型晶片，只需根據應用需求設計定製架構即可。

」泓觀科技在晶片架構上專注於卷積模型所支持的特定操作（如卷積、池化等），並針對識別場景的特點，考慮晶片工藝、面積、片上存儲等因素，對支持的網絡架構加入一定的約束（如層數、通道數量等）。

「大量的loT設備只有在被喚醒時才工作，設備經常處在休眠狀態，如何在設備休眠狀態下嚴格控制功耗產生，是重中之重。

」在這個環節，泓觀科技採用了異步（asynchronous）電路技術，與常規的同步（synchronous）電路對比（如上圖），異步電路能夠保證晶片在設備休眠時，產生的功耗可以忽略不計。

「接下來優化訪存同樣是一個關鍵環節。

」受限於晶片面積和成本，片上存儲的容量也非常有限，傳統解決辦法是引入大量的片外I/O 訪存，但由於 IoT 設備的自身特點，偏低的片外訪存效率會導致性能下降和功耗增加。

泓觀科技則採用了多層融合的架構技術（如上圖）來減少 I/O 訪存——通過架構和算法的交互優化（co-design），保證算法層的輸出數據能夠被有效緩存。

此外，神經網絡操作對數據存在較強的魯棒性，因而網絡對於數據的精度變化並不敏感。

泓觀科技通過定點化處理神經網絡，使用16位數據甚至更低的比特數可以保持網絡性能基本不下降，並通過自動化搜索不同網絡層定點化配置的方法，對權值和輸入/輸出採用不同的策略（如上圖）。

同時，泓觀團隊設計了一種自動化剪枝算法（如上圖），對神經網絡的每一層建立單獨的剪枝參數，從而解決了神經網絡本身存在的冗餘性。

基於上述設計要點的異步卷積神經網絡晶片，其整體框架圖如上。

泓觀科技的創始人告訴雷鋒網，「在同樣的晶片製程、達到相同性能的情況下，位於晶片active ratio（工作時間占比）較低的應用區間，相比基於傳統同步電路，採用異步電路設計可以顯著減少功耗，而這一區間恰恰是大量的物聯網終端智能化應用場景的分布重心。

」下圖顯示了不同active ratio條件下，同步電路和異步電路的功耗對比。

可以看到，在物聯端應用重點分布的低active ratio區間，採用異步架構的AI晶片，可以將功耗降低近一個量級甚至更多。

這款獨特而全新的異步卷積神經網絡晶片，其功能聚焦於物體識別等智能化視覺分析,面向可穿戴設備、智能家居、自供能（如太陽能）監控等對超低功耗有剛性需求的IoT終端領域，逐步賦能實現AI應用落地。

「這個路線及發力點的選擇，來源於我們對技術發展和市場定位的思考與判斷。

」 泓觀科技的創始人這樣總結到，「屆時從不久的未來里回望，這款晶片所代表的特質，應當不再是獨特和另類。

對於AI和IoT這兩大領域的廣泛交匯和深度融合，相信這一次意味著一個開端。

」