iPhone 8用哪種攝像頭？3D攝像頭產業及技術路線大揭秘！

上圖為目前已曝光的iPhone8模具

從2000年第一款配置攝像頭的手機誕生直到今天，手機攝像頭一直是各大手機品牌競爭的焦點。

攝像頭技術的競爭也隨著像素的不斷提升，逐漸往大像素、雙攝、3D攝像頭過渡。

2013年，蘋果在2013年收購了PrimeSense公司，主要開發攝像頭相關算法。

根據最新報告，iPhone8將搭載具備面部識別能力的3D攝像頭。

該報告指出，這些具備面部識別能力的3D攝像頭將由LG Innotek製造，這家公司此前也為iPhone 7 Plus提供雙攝像頭模塊。

iPhone 8將採用該公司的算法，配備「革命性」的前置攝像頭以及紅外模塊，它可以感知前方的3D空間，具備面部識別、紅膜識別和3D自拍等多項功能。

毫無疑問，目前蘋果依然是手機科技的引領者，加上2017年是iPhone面世的十周年。

根據目前透露的信息來看，此次新一代iPhone採用的技術方案非常激進。

3D成像如果要應用在手機上，必定是從中高端手機市場上先入手。

根據旭日產業研究院提供的數據，2016年全球中高端智慧型手機市場出貨量超過5億部，預計到2020年將會超過7億部，龐大的智慧型手機市場將會為3D成像的應用提供非常廣闊的應用空間。

iPhone8引入3D攝像頭或將引起國產智慧型手機的效仿風潮，3D攝像頭產業鏈即將引爆。

近日，《電子工程專輯》記者受邀參與了由旭日傳媒舉辦的「風口浪尖的3D成像，將引爆智能交互革命」的3D攝像技術論壇，產業鏈人士紛紛登台演講分享最新趨勢，同時也帶來了國內3D攝像頭產業鏈的第一手發展現狀。

奧比中光：「iPhone8會採用哪種3D攝像頭方案？」

奧比中光CEO黃浩源

黃浩源表示，很早就有Robert Scoble預測iphone8會推3D傳感器。

最近的消息是iphone8將從9月份推遲到11月份發布，依然會帶3D傳感器。

由於高屏占比很可能會取消指紋或者把指紋放在別的地方，所以目前傳言會將3D傳感器作為人臉識別登陸功能。

從3D傳感器的應用來看，除了人臉識別還包括很多其它的應用。

如3D掃描、AR購物、AR預習、3D測距、3D室內地圖及導航等。

「我們預測今年3D傳感器將會在前置攝像頭裡出現，快的話兩年，慢的話三年。

我認為後置傳感器也會出現3D蹤影。

後置3D傳感器應用用途會更廣，包括整個環境的3D掃描、3D試音、測距離、室內地圖的鑑定包括像《口袋妖怪》那種遊戲，有了3D傳感器會效果更出色。

」

黃浩源同時比較了一下結構光和TOF的技術原理。

他表示，蘋果的3D傳感器是亂點不是規則點雷射。

結構光的3D傳感器解析度比TOF高得多。

TOF作為單點測距效果不錯，已經應用到手機的前置測距。

目前TOF主要是手機使用，所以功耗比較低。

如果TOF一定要追趕解析度和幀數，會到手機無法承受的程度。

TOF另一個缺點是噪點比較大，用光測量距離，如果距離太長會產生早點，同時邊沿精度會降低。

由於TOF是雷射全面照射，而結構光是只照射其中局部區域，所以結構光的功耗比較低。

「結構光照射的面積可能只有TOF的10%，所以雷射照射方面的功耗可以省掉90%。

」黃浩源表示，結構光也有它的缺點，比如邊界線不太清晰，如果照人的話有時候會胖一點有時會瘦一點。

不過他同時表示，奧比中光結構光的第二代晶片馬上出來，晶片算法有改進，邊界線會做得非常好，跟原來的邊界線重合。

由於結構光與TOF在解析度、幀率等方面具有明顯差距。

在手機做圖像增強等應用中，對解析度的需求很高。

黃浩源認為，目前130萬的深度圖解析度還是不夠，未來五年會進步。

如果需要高解析度、高幀數，蘋果的手機前置應該主要會用結構光的方案。

由於手機里結構光的基線必須限制在25毫米以內，近距的精度跟TOF差不多甚至好一點，遠距精度比TOF差。

所以手機後置攝像頭大多還是採用TOF技術，當然目前TOF的功耗是一個問題。

相信未來蘋果將會開發更低功耗的適合後置使用的TOF技術。

目前蘋果採用的最優的結構光技術：單目+投影雷射+ASIC

黃浩源同時分析了蘋果可能會採用的結構光技術。

目前結構光技術有幾種：一種是單目+投影雷射，還有雙目+投影雷射。

英特爾採用的就是雙目+投影雷射，體積較大。

單目體積較小，但是算法比較複雜。

在計算部分也有幾種：有直接用手機的AP進行純軟體計算，這個不需要添加硬體成本，但是比較消耗AP的計算資源。

還有一種是DSP晶片加軟體算法，成本跟用ASIC差不多，但是解析度較低。

所以綜合判斷來看，蘋果應該會採用單目+投影雷射+ASIC的技術路線。

黃浩源表示，奧比中光的結構光方案，無論是對比距離、精度效果跟蘋果收購的PrimeSense接近。

但是尺寸會比PrimeSense小很多，目前二代尺寸小到可以放到手機里。

這是目前奧比中光已經出貨的產品代表，預計到明年下半年，蘋果電視、自動駕駛、AR/VR等許多應用都將升級3D傳感器。

奧比中光的機器人方案，包括180°超大水平視角，環境地圖一次性創建；閉環檢測，重建工作場景。

前置超聲探測、以及紅外近距離傳感。

3D體感攝像頭在智能安防領域的應用，可實現監測跟蹤、動作戲台、區域檢測、物品移動識別等功能。

黃浩源表示，今年奧比中光的第二代晶片及模組都將量產，預計明年將量產融合TOF技術，可用於高級駕駛輔助的第三代晶片。

虹軟：3D攝像的兩種主要算法解析

虹軟算法經理邱雙忠先生

虹軟算法經理邱雙忠分享了從算法的角度，3D攝像頭能帶來的用戶體驗。

「從單攝、雙攝再到DepthCam還有諸多限制。

」虹軟算法經理邱雙忠表示，目前智慧型手機在深度CAM領域的體驗還有很多問題。

3D雖然可以帶來畫質和影像、算法各個方面的提升，但是3D還在發展初始階段。

首先要解決的是有無的問題：比如3D模組怎麼放到手機上，功耗會怎麼降低？接下來就要達到一定的手機景深測距，不管是雙攝還是3D攝像頭，要讓手機成像接近單反的效果。

邱雙忠表示，深度Cam分為幾種，在3D成像方面最主流的還是結構光和TOF兩種技術。

在結構光和TOF這兩個層面，都會有一些相對狀況在往前走。

針對人像拍攝方面，在結構光和TOF深度Cam領域，針對2D平面圖像會有一些缺陷和損失。

人像特徵點的檢測是人臉識別的基礎，檢測完人像特徵點後，基於特徵點可以做非常多的應用。

舉例來說，如果要做2D攝像頭的美顏效果，跟利用人像深度信息做到3D攝像頭的美顏效果是有很大差別的。

加入3D信息自後，針對人像的美化立體感將會加劇，如光影效果，鼻子旁邊側面的陰影，都可以做比較精細化的處理，處理完之後人像看起來更有立體感，美化效果也更好。

還有另一個基於人像的應用，是自拍的矯正。

在自拍是，很多時候是人對著螢幕看而非攝像頭，這樣拍出來的眼睛就非直視鏡頭。

基於這個，加上3D模型，可以對人的視角進行矯正。

基於這個模型把眼睛的視角方向調整對著攝像頭，視覺感覺更有活力。

另外一個跟3D相關的應用是跟手勢識別相關，涉及到人機互動。

通過3D攝像頭結合人體立體信息，在一定距離範圍下，可以對手指的每一個關鍵做了非常精準的控制。

基於深度學習的3D手勢建模和各種姿態識別。

在不同應用場景下，不光手機，可能在其他領域也可以做到更加自然的交互。

未動科技：3D深度識別能帶來哪些應用？

未動科技CEO孫錚

有了深度攝像頭，接下來就是提供各種智能的應用。

未動科技的CEO孫錚表示，人類和動物都具有深度感知，這是因為自然進化的結果。

有了深度對於距離的感知，就可避免發生碰撞。

孫錚認為，目前有很多方法能夠感知深度信息，很多東西是通過2D圖像還原3D信息和深度信息，甚至包括用光場還原深度信息。

「市面上深度攝像頭很多，沒有一個唯一的深度攝像頭任何場景都能適合，必須根據你應用的環境。

」孫錚表示，這個應用環境包括功耗、大小，在黑暗環境中使用還是在白天環境使用，在室內還是室外，是不是和陽光或者雷射、紅外有所干擾。

3D攝像頭帶來的一個新的因素就是景深的加入，比如人臉識別。

3D人臉識別比2D一定會精準。

因為2D的信息拿一張照片就可以騙過攝像頭，3D會提高精準和安全性。

3D識別也將會給電商購物帶來革命性的變革，消費者可以在網上了解產品的立體結構。

微軟的Hololens在AR領域提供空間計算和場景重構功能。

為什麼要重構？因為機器人在運動過程中需要給自己和空間進行定位。

需要把每一個空間點拼接起來形成一個整體物體空間結構。

說到AR應用和機器人應用，一個很重要的是空間姿態定位。

深度攝像頭在很多場景下可以解決很多問題：比如機器人在室內如何定位自己的姿態。

還有基於深度識別的手勢控制和人機互動。

示例：3D識別對於場景的識別和重建

新的應用場景：一個無人機在廠房內工作，右邊畫出來的是具體的姿態，這裡的姿態顯示的是XYZ三個自由度，實際上它能測出六個自由度。

這個技術同樣是所謂的AR技術，知道自己的姿態。

手勢識別案例，這是一個200×100齣來的深度圖。

是這個手勢識別是還原行業中26個TOF，能還原出手骨骼、骨架信息。

華捷艾米：3D視覺感知+自然語言=新的人機互動革命

華捷艾米CTO周曉軍

這是軟銀孫正義演示的一個機器人，技術方面包括語音識別、語音溝通、3D攝像頭、圖象識別、模式識別、手勢、虹膜、體感等等。

華捷艾米CTO周曉軍認為，人機互動發展這麼多年，每一個階段都是革新性的進步。

他認為2010年以後，人機互動新的革命會出現在語音+視覺感知。

未來的機器人將可以跟人一些樣可以看和聽。

「華捷艾米也有一套完整的自然交互方案。

我們選用的也是結構光，從2010年看到微軟那個產品面世，也開始研究這個東西，覺得它會是未來的方向。

」

周曉軍介紹了華捷艾米的三款3D晶片。

他表示，在第二代3D晶片中，將會加入了ISP/Ecoder，支持1080P的彩色圖，能夠達到90幀，支持UBS3.0，拍照美化、3D人臉識別、簡單AR換背景等等。

同時增加了DSP，預計在10月份量產。

到年底華捷艾米將會量產的第三代晶片，會將更多人工智慧算法加入進去，包括男女識別、手勢識別、SLAM、遠場語音等等。

「第二步我們把眼睛和簡單的智能加入到晶片中，第三步，希望打造一個完全人工智慧包括3D感知、語音，甚至有可能包括其他智能算法的晶片，可以作為機器大腦來使用。

」周曉軍表示。

這是3D感知晶片+光學模組做的測量模組，是機器視覺最基礎的部分。

據了解，目前華捷艾米的第一代模組支持0.6-8米，75度和65度，解析度是紅外和彩色解析度。

預計在9月份會推出手機小型化低功耗的模組方案。

「在我們的晶片中，有很多人工智慧算法，包括前景分割、深度學習、SLAM、ASIC。

」周曉軍認為，其中最複雜的是取得深度圖之後怎麼樣把人從背景中提取出來，同時識別關鍵點。

然後基於這些關鍵點來進行動作識別。

周曉軍表示，目前華捷艾米已經突破全程骨架技術，目前是世界上三家擁有全套人物提取、骨架識別、動作跟蹤技術的公司之一，前兩家是微軟和蘋果。

其中微軟的3D感知技術已經證明是效果最好的，然後是蘋果收購了PrimeSense，提供完全自主智慧財產權的骨架技術。

華捷艾米的骨架技術對人的識別是可以同時識別六個人，每個人是20個關鍵點。

在這個基礎之上又做了一個手勢識別，每隻手能識別24個點。

周曉軍認為，3D視覺感知+語音識別是目前最佳的智能交互組合。

根據華捷艾米目前的產品規劃，其中的目標是打造全功能感知和計算平台，包括：三維人臉識別、手勢識別、情緒識別、三維建模等。

目前將深度圖和彩色圖結合起來進行三維人臉識別，計算效能比單純用彩色圖做人臉識別，大概要提高三分之一到二分之一。

基於3D視覺感知的移動設備方案

其主要應用方向包括：拍照優化、防抖、虛化、美顏、AR應用等等。

主要是三維人臉識別、電商、遊戲、智能監控等等。

西安知微：MEMS微眼鏡的高精度3D相機

西安知微總經理夏長鋒

去年12月才成立的西安知微傳感技術有限公司，目前主要做MEMS微振鏡的研發和應用。

主要提供的產品包括基於MEMS微振鏡的高精度3D相機ZS3D-camera，以及MEMS雷射雷達單軸掃描模組。

前面已經提到很多3D攝像頭的應用。

這裡再講一個應用，比如一些直播里可以把背景虛化掉，很順利的切換到其他場景，或者對人體進行掃描放到遊戲里，甚至每天可以監控身體體型，可以對飲食、健身等等進行調整。

西安知微的MEMS微振鏡採用的是光柵原理。

這個結構的相機主要由一個攝像機和一個結構光投影儀組成，根據光柵圖像的變形情況來測算被測物體表面的三維點運輸局。

其實現方式為：微振鏡在驅動作用下會主動掃描，通過振鏡調整，通過條紋調製之後的結果計算出點雲的信息。

ZS3D相機的主要參數：其中解析度基本在0.5MM，FOV>54度×54度，目前只是輸出點雲坐標。

目前存在的問題是相機體積還比較大，而且成本較高，價格在一千元左右。

下一步就是要提高精度、壓縮成本，減少體積，同時提高掃描幀率。

興芯微：3D攝像開啟智能交互革命

興芯微產品總監賀遙

多年來興芯微專注於獨立ISP晶片的開發，最大的能力就是把一些算法硬體化，以晶片的方式呈獻給市場。

興芯微的產品總監賀遙表示，未來3D攝像的算法硬體化將主要分為兩種：一種是雙目RGB，一種是結構光。

「我們認為未來不管手機相機或者直播或者其他相機，都必須有深度。

沒有深度的信息，以後的相機必須朝有深度的發展。

」賀遙表示，以後的發展趨勢，光學變焦會持續存在下去，因為它確實解決了一些拍照長距離清晰度的問題。

同時背景虛化、暗態增強等功能也會加入進來。

在蘋果7PLUS上，背景虛化是使用頻率最高，最受廣大用戶喜歡的功能。

暗態效果主要通過大光圈鏡頭加上光學防抖技術解決，還有通過CPU算法，做多幀降噪來解決。

前段時間最火的《pokeman go》就是AR應用，隨著AR/VR的發展，在以後發展結合深度信息，有了深度信息，這些應用使用起來更流暢更有趣。

「我們調研到有些一線手機品牌在做虹膜識別的前置攝像頭。

對於虹膜識別和3D人臉識別，應用來說，3D人臉識別以後的應用會更廣，比如可以加識別類、做建模類的東西，而虹膜只是一個簡單的身份認證功能。

在3D人臉發展上，我們認為在前攝3D人臉識別和自拍背景虛化會持續存在。

」賀遙表示，所有的功能最終體現到用戶體驗。

現在市場上已經存在一些區別於CPU以外的處理器或者單獨晶片，這些晶片的目的就是為了減輕CPU處理的負荷，提高算法的運算。

在雙攝領域有這幾家公司一直存在。

華為等一些品牌都在用華晶晶片。

它的晶片是ASIC+DSP，所以很多算法有固化到ASIC也有跑到DSP。

第二個是富士通，裡面的CPU很強大，很多算法可以跑，使用起來沒有ASIC晶片方便。

此外還有DSP，這個DSP價格很貴，它可以實現HDR、多幀降噪，這都是依賴第三方算法公司，把算法在DSP上運算，可以減輕CPU損耗，提升拍照體驗。

去年興芯微提供了手機雙攝ISP晶片，這是一個純的ISP晶片，可以實現兩路圖像輸出變成一路圖像輸出。

接下來興芯微會做兩個方向：在雙目RGB這個產品形態上繼續升級，以及繼續做下一代晶片。

這兩個都是可見光雙目為主，做硬體加速、景深計算，提升景深解析度，對雙攝手機提供更快的景深計算晶片。

賀遙表示，未來興芯微會願意和一些算法公司包括手機廠商合作，來定製對於一些結構光的晶片，做硬體加速等工作。

這兩個公司在雙目RGB或者結構光裡面，有很多算法硬體化的需求是相通的。

比如提到光學系統校正、圖像預處理、特徵提取。

「為什麼幾家廠家在結構光的晶片裡面會加入ISP晶片。

ISP晶片主要作用也在處理濾波包括圖像分割功能。

比如現在做簡單的濾波、圖像去噪、圖像分割，得到邊緣檢測，做得到邊緣圖像。

」

賀遙表示，中國有句古話叫「分久必合合久必分」，SOC一直想把各種功能都集成進去，集成很大負荷越來越高，差異化需求低就沒法滿足。

這時候開始做分化，比如蘋果提出協處理器概念，這個協處理器概念就是把核心的功能分化出來。

對於興芯微來說，會在很多領域把一些功能協助SOC做一些事情，把算法固定到晶片里，提升系統的流暢度和運算效率。

本文為《電子工程專輯》原創，版權所有，謝絕轉載