OPPO 首個自研晶片，影像專用NPU 的計算攝影祕密

做為一家手機公司，OPPO竟然在第一款自研晶片就挑戰頂尖的6nm製程，並且NPU的性能和能效比也達到了業界領先水準，這不禁讓人好奇，OPPO自研晶片的決心 ... X 科技新知時時更新 免費訂閱電子報 訂閱 退訂 ※此電子郵件已被使用！ 請勾選您感興趣的類別（至少勾選一項） 產業科技 科技財經 網路趨勢 科技新知 科技新品 同意隱私權政策* 在12月14日第三屆OPPO未來科技大會（OPPOINNODAY2021）上，OPPO晶片產品高階總監姜波揭密了其歷時近兩年研發的首款自研晶片馬里亞納MariSiliconX。

馬里亞納MariSiliconX是一個影像專用NPU（神經網絡處理器），採用台積電6nm製程，AI算力高達18TOPS，比蘋果最新的A1515.8TOPS的AI性能還高，同時，MariSiliconX能效比達到11.6TOPS/W。

做為一家手機公司，OPPO竟然在第一款自研晶片就挑戰頂尖的6nm製程，並且NPU的性能和能效比也達到了業界領先水準，這不禁讓人好奇，OPPO自研晶片的決心從何而來？ 從產品的層面看，馬里亞納MariSiliconX將搭載在OPPO明年第一季發表的Find系列旗艦手機上，會為消費者帶來突破性的影片拍攝功能。

▲馬里亞納MariSiliconX影像專用NPU。

從技術層面解讀，將會發現馬里亞納MariSiliconX背後，藏著OPPO的計算攝影祕密，以及這家志在探索未來的企業對新十年技術發展趨勢的判斷。

為什麼是影像專用NPU？ 當市場競爭更激烈，智慧手機越難創新時，全球手機出貨量前五的手機廠商們都希望藉由自研晶片，用更好的軟硬協作實現功能和體驗的差異化，來獲得消費者青睞。

差異化競爭的焦點，是消費者最容易感知的影像功能。

自2018年開始，手機行業對於AI影像功能的關注只增不減。

2020騰訊手機行業洞察白皮書指出，消費者對鏡頭、電池的關注度顯著提升，其中鏡頭的關注度增長率僅次於操作系統。

手機影像系統是一個很長的工作鏈，包括前端感測器、鏡頭、馬達，承載圖像處理的ISP晶片，以及後端標定和調優等過程。

手機巨頭們在整個影像系統上爭相布局，比如，OPPO過去十年，在定製圖像感測器、鏡頭模組、鏡頭方面有大量經驗，還基於通用SoC平台累積了許多AI演算法。

「手機業界已經發現在AI算力的支援下，AI演算法已經超越傳統ISP演算法的效果。

因此，目前主流的趨勢是用AI演算法替代傳統演算法。

」擁有十多年圖像處理領域豐富經驗的愛芯元智ISP負責人、系統架構師張興說，「手機廠商已經在拍照中享受到了AI演算法帶來的好處，包括超級夜景、AI美顏等功能，從趨勢來看未來幾年，AI拍照最熱門的幾個功能會從拍照走向影片。

這就需要一顆高效的晶片，將AI演算法和傳統ISP進行更好結合。

」 將算力、AI與拍照和攝影融合，都代表著手機行業一個重要的趨勢──計算攝影。

所謂的計算攝影，是利用數位計算而非傳統的光學處理的圖像。

比如超級夜景功能，利用高算力以及AI降噪演算法等，將拍攝的多張照片合成為同一張，輸出一張明亮清晰的照片。

從Google、蘋果到OPPO，整個手機業界的領導者都在藉由計算攝影不斷突破手機攝影能力的上限。

不過，通用SoC並不能完全滿足計算攝影的需求。

姜波指出，「我們的AI降噪演算法在FindX3Pro的晶片平台上，在功耗接近1.7瓦的時候，最多可以處理2幀圖像，這意味著AI降噪只能應用到暗光拍照，沒辦法在最低要求是30fps的影片中應用。

」 安謀科技高級產品經理柴衛華也說，「隨著短影片的需求發展，手機也越來越重視錄影性能。

要即時處理4K甚至8K影片的大量數據，呈現完美的影像效果，處理器性能、演算法優異、儲存頻寬和與系統延遲都是挑戰。

」 通用SoC限制AI演算法性能的同時，也限制了定製感測器和鏡頭性能的發揮。

原因主要有兩方面，一方面，定製感測器的周期較短，但通用SoC的更新以年為周期，兩者在時間上難以匹配。

另一方面，採用定製感測器，整個圖像處理工作需要進行優化增強，但定製感測器和通用SoC很難實現緊密耦合，也就難以發揮最大效益。

已經擁有定製感測器和AI演算法積累的OPPO，想要進一步提升影像性能，在計算攝影將占主導地位的競爭中，自然需要一顆影像專用NPU輔助影像工作的垂直整合，進一步實現突破。

「垂直整合最難的就是最開始對用戶需求的判斷，如果判斷失誤，會影響後續晶片設計以及所有的配合設計工作。

」姜波說：「得益於OPPO在行動智慧裝置多年的經驗，我們清楚知道消費者的真實需求。

」 馬里亞納MariSiliconX補足了OPPO在影像計算單元上的最後弱點──缺乏可控的影像專用處理器。

之所以定位於影像專用，沒有加入包括顯示在內的更多功能，姜波說：「這是我們的首款自研晶片，要集中在價值最大的功能上。

」 計算攝影如何突破手機攝影極限？ 晶片的定位明確之後，具體參數定義也極為關鍵。

這有兩大關鍵挑戰，一個自研晶片能夠帶來的性能和體驗提升，一定要優於通用SoC；另一個是手機整機的功耗控制。

要解決這兩大挑戰，就不得不自研這個NPU上的幾大核心IP。

姜波透露，「剛開始，我們也評估了一些可以購買的第三方IP，但最終發現沒有一個NPU可以與OPPO的場景算法結合，達到最優能耗功率，因此選擇了從頭開始自研NPU。

」 張興也持同樣的觀點，「要充分發揮NPU算力與ISP結合的價值，需要在設計的最初就將兩個IP結合起來設計。

如果是買來的IP，兩者結合實現好的功能難度很大，即便實現，也會有大量的功耗和晶片面積的浪費。

」 因此，馬里亞納MariSiliconX中的兩大關鍵IP，MariNeuroAI計算單元和MariLumi影像處理單元均是OPPO自研，分別負責提供高AI算力和更好的影像處理性能，也是計算攝影的關鍵。

AI算力部分，馬里亞納MariSiliconX的int8性能高達18TOPS。

之所以要定義一款在終端如此高性能的NPU，原因就是前面提到的馬里亞納MariSiliconX要有足夠的性能帶來比通用SoC更好的性能和體驗，特別是將AI融入影片拍攝中。

「在影片應用領域，效果稍微好的AI降噪演算法，即時處理1080p@30fps拍攝就需要10TOPS以上的算力，目前這種應用方案還比較少。

」億智電子創始人兼CEO陳峰指出。

如果沒有能耗約束，實現高AI性能並不難，但手機處理器的設計，難點在於能耗比。

要實現高能耗比，晶片製程的選擇、架構的設計、性能與功耗的取捨等都非常重要。

這也是馬里亞納MariSiliconX雖然是OPPO的首個自研晶片，但是選擇了台積電先進的6nm製程的關鍵原因。

設計的晶片製程越先進，對設計團隊的要求越高。

如果第一次就想成功，也需要一些運氣，而馬里亞納MariSiliconX首次流片就成功。

另外，NPU提升能效比還有一個瓶頸──記憶體。

在AI晶片發展幾年之後，業界都意識到，NPU數據搬運消耗的能耗遠高於數據處理。

為此，馬里亞納MariSiliconX整合奢侈的雙層儲存，包括兆比特/秒（Tb/s）級讀寫速度的記憶體子系統，以及8.5GB/s的獨立DDR頻寬的方式，為AI的高效運算提供充分的記憶體讀寫支援，在有效減少數據搬運的同時提升能效比。

最終，馬里亞納MariSiliconX在實現18TOPS高算力的同時，擁有11.6TOPS/W的極致能效比表現，運行OPPOAI降噪模型的速度是達到FindX3Pro（驍龍888）的20倍，能效達到40倍，在業界屬於領先水準。

晶片行業有這樣一句話，「算力代表一切」。

實現了高算力和極致能效比的兼顧，馬里亞納MariSiliconX發揮自研MariNeuro和MariLumi聯合設計的獨特優勢，最高支援人眼等級的20bitUltraHDR，能覆蓋100萬：1的最大亮度範圍，是目前行業主流HDR能力的4倍，比最新發布的旗艦通用SoC支援的18bitHDR更加極致。

傳統來講，HDR是在YUV裡合成的，經過RGB和YUV的轉換，會損失大量的圖像資訊。

馬里亞納MariSiliconX幫助OPPO首次完成影像鏈路的垂直整合，就可以重塑轉換鏈路，將處理節點前置在資訊量100%的RAW域直接做即時計算，20bitRAW即時計算，能夠帶來畫質的顯著提升。

馬里亞納MariSiliconX支援20bitHDR，高於最新旗艦SoC的18bit。

通用SoC落後於馬里亞納MariSiliconX的規格，是否會成為限制這款OPPO首個自研晶片發揮性能的瓶頸？姜波解釋，「由於馬里亞納MariSiliconX是在手機SoC之前處理，我們的NPU處理完HDR、AI降噪等之後就不需要再進行相應處理，不會限制MariSiliconX性能的發揮。

」 有了自研晶片，也能讓OPPO充分發揮定製感測器的性能。

馬里亞納MariSiliconX充分發揮了RGBW的更強能力，透過雙鏈路的設計和2xRAW計算，實現8.6dB信噪比和1.7倍解析力提升。

「透過自研晶片和定製化感測器相互的化學反應和相互耦合，我們可以做到最大化發揮定製感測器的能力」，姜波指出。

對於計算攝影這個涵蓋電腦圖形學、電腦視覺和應用光學等多個學科領域的技術，OPPO的首款自研晶片能夠基於算力，藉助垂直整合，用計算攝影突破手機影像的極限。

自研晶片給OPPO手機帶來的可能性 馬里亞納MariSiliconX能夠突破的極限，是讓手機能夠在弱光環境，用計算攝影實現4K+20bitRAW+AI+UltraHDR夜景錄影的新極限。

姜波解釋，「之所以把錄影拍攝限在4K30幀，也是出於功耗的考量。

錄影的即時處理特性，難度遠大於照片的先拍後算。

影片基礎的要求是30幀/秒，意味著每一幀的處理要有大概33毫秒，要實現錄影AI功能，必須在33毫秒內處理完成，性能和功耗的約束是關鍵。

」 同時，手機系統層級、功耗的控制也非常重要。

「我們現在把整個影像鏈路中，最耗功耗的HDR、AI降噪等演算法都在馬里亞納MariSiliconX上處理，SoC不需要再進行處理，所以是節省功耗的。

」姜波解釋，「OPPO有一個功耗及格線，不能增加整體功耗，這是基本原則思路。

」 OPPO展示了一段暗光錄影的影片，可以明顯看到，搭載馬里亞納MariSiliconX的測試平台在暗光環境中影片的細節更多，畫面解析力更高。

未來，OPPO的自研晶片還能實現更多錄影的AI功能。

這是因為，馬里亞納MariSiliconX設計之初就將AI和圖像處理進行了很好的融合，相比傳統的ISP有更高靈活性，還有更高性能，用計算攝影突破手機影像功能的極限，而無損計算也是計算影像的必然趨勢。

另外，從OPPO自研晶片的命名馬里亞納來看，OPPO還會在自研晶片的道路上不斷探索，馬里亞納MariSiliconX只是OPPO自研晶片的開始，未來OPPO還可能推出更多自研晶片，給用戶帶來更多驚喜。

OPPO自研晶片並不讓人意外，讓人有些意外的是，OPPO首款自研晶片就採用台積電6nm製程，首次流片就成功，定位影像專用的馬里亞納XNPU在性能上兼顧了高性能和高能效。

當然，這是OPPO做為手機公司，在充分理解消費者需求，以及基於已有技術經驗，對行業趨勢判斷，自研晶片的優勢。

對OPPO而言，雖然自研晶片一定會帶來成本的增加，但OPPO更關注的是提升消費者體驗，以及用計算攝影不斷突破極限。

對於消費者來說，在馬里亞納MariSiliconX加持下，能夠實現暗光錄影突破的OPPOFind新旗艦，將會是一個非常值得關注的產品。

對於手機業界來說，OPPO硬實力的增加或許也會給行業的競爭帶來更多壓力，跟上無損計算攝影的趨勢，也變得更加重要。

（本文由雷鋒網授權轉載；首圖來源：OPPO） 延伸閱讀： OPPO12月將發表首款摺疊手機、智慧眼鏡新品 科技新知，時時更新 科技新報粉絲團 訂閱免費電子報 關鍵字:FindX3Pro,MariSiliconX,OPPO,計算攝影 Postnavigation ←疫情後美國人瘋狂花錢，但找更多便宜貨 地瓜銷售全台7-11、量販！慶全科技農業拚掛牌上櫃→ 我們偵測 到您有啟用 ADBlock 請您暫停使用ADBlock，以支持我們持續能提供更多新聞資訊與優質的閱讀環境。

贊助專欄 活動專區 研討會 CurrencyRate 本週熱門馬斯克：一年前就可生產900公里續航的ModelS，但太沒用 高鐵購新車日本報價不合理，改洽他國廠商香港成人間煉獄，COVID-19死亡率全球最高4千輛豪車貨輪宣告沉船，賓利、保時捷、藍寶堅尼全數海葬俄重演1998年金融危機噩夢？俄債剩數小時就違約台灣ASML2022年將聘1,000名員工，碩士工程師年薪上看160萬元聯發科踢走高通成美Android手機晶片新霸主，外媒：記得謝謝Google俄羅斯宣布不再賣火箭發動機給美國，嗆：去用掃帚飛上天吧 財訊快報 明泰2月營收月增8.6% 倉和2月營收8,957.20萬元 宏捷科2月營收月減26.3% 晶相光2月營收月減7.7% 中華電1月營收174.16億元 系微1月營收月減15.8% 科嘉-KY1月營收2.47億元 台灣大1月營收141.33億元 漢唐1月營收21.14億元 微星1月營收203.87億元 更多>> 編輯精選 [專題]從健康檢查到內外科診斷，閎康巧扮第三類半導體「健檢師」 [分析]烏克蘭啓示錄》從Starlink看見低軌衛星對現代戰場的意義 [分析]俄羅斯施行太空技術制裁，影響了哪些科學任務與合作？ [專題]一株煨了十年的火苗，成為富采直攻第三類半導體關鍵 [分析]原物料飆到「妖鎳」破10萬美元！一次看俄烏戰爭如何衝擊供應鏈 [專欄]提高不動產貸款風險權數，是將外部成本內部化的重要手段 [專題]開車、滑手機甚至打仗都需要，我們未來離不開第三類半導體 [熱門]高鐵購新車日本報價不合理，改洽他國廠商 FB粉絲團 其它 登入 文章RSS訂閱 迴響RSS訂閱 WordPress台灣正體中文 請您暫停使用ADBlock，以支持我們持續能提供更多新聞資訊與優質的閱讀環境。