杭州都市網

編者按:

6月11日-13日,國內首個三維視覺學術會議China3DV在廈門大學舉辦。大會鉑金贊助商、行業領先的3D視覺感知技術整體方案提供商奧比中光為參會者完整展示了3D視覺感知底層技術全圖及產業化應用進展,并通過5節干貨課程,輸出奧比中光一線產業經驗。CV君整理了奧比中光聯合創始人、CTO肖振中博士的演講全文,以饗讀者。

肖振中博士簡介

肖振中,奧比中光科技集團股份有限公司聯合創始人、CTO,畢業于西安交通大學機械工程專業,獲工學博士學位。攻讀博士期間,參與國家863項目1項,參與國家自然科學基金項目1項;在新加坡南洋理工大學進行博士后研究,研究方向為機器視覺與數字圖像處理;后從事機器視覺與三維傳感技術研究。在國內外知名刊物上發表學術論文10余篇,申報專利160余項,并參與制定國家標準“鍛壓制件及其模具光學三維幾何量檢測規范”。

以下為肖振中博士演講實錄內容經CVer編輯:

大家好,我是奧比中光肖振中。今天我講的題目是《實時三維感知:成像、算法與芯片》。

奧比中光是一家專門做3D視覺感知技術的公司。我們為什么要做三維相關的東西?其實還是應用驅動。三維相關的應用變多了,如智能檢測識別、6DoF定位、機器人SLAM等,而原來的2D信息則越來越不夠用。

圖注:肖振中博士率領奧比中光專家團隊,為參會者帶來3D感知視覺領域的滿滿干貨。

為什么需要三維感知技術?

實際上,三維感知技術的種類還是蠻多的。今天我想講的,主要還是偏重于非接觸式的三維感知技術。而即使是非接觸式的三維感知,依然有很多分支,有光學的,還有非光學的,像超聲、毫米波等。

奧比中光關注的還是光學方面。從光學測量系統來看,又分為透射式、反射式。透射式一般測什么?測一些透明材質物體如玻璃,往往是用透射式的。我們常見的一般是反射式:光在發出之后通過物體表面反射回來,然后被傳感器接收到,利用這個信息來計算深度。

反射式又可以分主動和被動。主動是指它會投射一些特定的光或光斑,從而實現三維恢復。我在圖中列了幾種常見的方法,其實光學測量的范疇很大,還不限于這幾類。被動也很多技術路線。人的眼睛其實就是一個被動雙目,像SFM、SFX、攝影測量等,則是利用Motion、shading等多種約束去解算。

今天,我主要想和大家分享下奧比中光的主動結構光、主動被動雙目及ToF技術。

結構光的前世今生

結構光的歷史其實很早。20年前,研究人員就能用條紋結構光重建出人臉模型,只是計算和建模過程比較緩慢。即使到了現在,結構光的概念還是比較寬泛的。

我想重點介紹的Kinect,大家可能已經比較清楚了。Kinect應該是第一個消費級的Depth-Camera,而且銷量也蠻大,有超過3000萬套。而真正為Kinect提供技術的公司,其實是以色列的PrimeSense。這家2007年成立的公司專注于研發實時結構光技術,并在2009年與微軟一起發布了Kinect,可以和Xbox配合做體感游戲。Kinect深刻影響了企業界和學術界,大家那時發現,1000塊錢左右就能得到一個深度相機,還是很不可思議的。

圖注:肖振中博士在China3DV會前課程環節授課。

奧比中光在2013年成立,在2015年就推出了我們第一套結構光傳感器。為了推廣方面的需求,我們做了兼容,盡量與Kinect的數據協議保持一致。實際上,我們的傳感器能輸出的分辨率還可以更高。

PrimeSense后來被蘋果收購。蘋果在2017年9月推出iPhone X,帶著結構光“劉海”,這也是蘋果第一款帶3D相機的手機,可以用來刷臉解鎖、刷臉支付。

在安卓陣營里,奧比中光與OPPO合作,推出了第一款帶3D攝像頭的安卓手機。其實,我們在2017年初就可以把3D結構光方案做進手機,只是廠商當時不理解3D應用的價值,直到iPhone X的發布引爆了行業。

在2018年下半年,我們又在結構光的產業化應用上邁出了一大步,把結構光大規模地用在線下刷臉支付設備中。

實時結構光的原理其實不難。把激光散斑投射到物體上,形成散斑圖,然后在特定的平面上采集一幀參考圖像。利用這個散斑圖,跟參考圖上的散斑做匹配,找到對應的視差,然后計算它Z方向的信息。

結構光跟雙目有一定接近的地方,不過結構光只有一個相機。如果把結構光相機中的激光投影模塊看成一個倒置的相機,其實就很接近雙目技術。

結構光的核心在于做匹配,計算量很大。即使是算一個像素,一個block,也要算很多次。計算100萬像素的話,數據量就非常巨大。所以,實現這個過程,需要自己做芯片。

圖注:肖振中博士介紹奧比中光四款自研結構光芯片。

到現在為止,奧比中光已經自研了四代結構光芯片。因為結構光計算量大,集成到芯片上,可以把算力、成本、功耗都平衡到可以大規模生產的地步。

主動被動融合的奧比中光雙目技術

再來講講雙目。奧比中光在雙目上做了什么呢?

我們做了主動被動融合的雙目模式。在幾米之內的近距離時,采用主動增加散斑紋理,得到更好的精度;在遠距離時,因為主動投射沒有任何意義,就會變成被動雙目。

同學們可能知道,這時候圖像容易出現抖動的情況。怎么辦呢?奧比中光開始采用深度學習的方式,用深度學習模型來學習圖像的特征,然后做特征匹配,效果比傳統方法好很多。

雙目芯片這塊,我們也在做芯片設計。因為雙目的計算量與結構光一樣,都非常巨大。奧比中光原來已有的兩款結構光芯片MX6000和MX6600,其實也兼容雙目。之后,我們還會再專門做一款AIOT芯片,我們叫它Venus,結合了雙目和iToF的處理。

iToF與dToF:自研Sensor是核心壁壘

奧比中光也在投入iToF Sensor,預計今年7月份能夠量產。這個項目從開始到現在已經做了快三年,用的時間還蠻長的。值得一提的是,我們目前正在和微軟一起合作,開發在Azure云計算平臺上使用的iToF相機。

iToF發展簡史

簡單介紹下iToF的原理。iToF的原理是發射脈沖,再接受脈沖,最終利用相位差計算深度。一個不需要高精度的iToF測量其實很簡單,但如果想把一個系統做得很精確,需要大量的標定工作。因為發射的脈沖跟理想的正弦信號還差很多,這塊需要標定。

iToF系統濾波算法

而iToF系統標定這塊,主要有四個方面:

全局偏差標定與補償:全局偏差相當于整個系統的系系統誤差,通過對全局偏差的處理,使測量數據歸一化。

wiggling標定:主要解決調制信號與理想信號存在的周期性差異,因此,在標定時需要確保完成對一個調制周期的標定補償。

FPPN標定:?FPPN噪聲是與像素點相關的固定偏置噪聲,因此,可以在某一位置上計算固定偏置的相位。然后在計算深度時加上這一個固定的偏置相位即可。

溫漂標定:溫度會改變深度偏移,因為激光調制和傳感器中的延遲時間解調會隨溫度變化。因此,補償隨溫度變化漂移時,應根據傳感器和激光驅動器中的溫度應用于原始距離。

給大家再介紹下奧比中光自研iToF傳感器PLECO。PLECO采用背照和堆疊工藝設計,像素層和邏輯層采用65nm工藝,尺寸做得更小。聽說索尼下一代將采用背照和堆疊工藝來做iToF傳感器,實際上奧比中光在這上面已經做了三年了。

奧比中光iToF開發時間線

講完iToF,再講講dToF。蘋果在iPhone12系列上裝的Lidar其實就是dToF。dToF跟iToF原理上唯一的差別就在于,dToF是測量時間差,發射出去脈沖跟接收的脈沖中間有一個時間差。不過,對這個時間差的測量精度要求非常高。

dToF最關鍵的部件是接收端的Sensor。dToF Sensor的發展也有一個趨勢,最早基本都在用APD Avalanche Photo Diode,后來發展成SPADSingle Photon Avalanche Diode,即單光子雪崩二極管,只進去一個光子也會觸發它的雪崩。再后來,則會走向SPAD Array的路線。而dToF技術的核心壁壘,也在于Sensor。

主流3D視覺感知技術,各有千秋

3D視覺感知技術各有特色,我們是全球少數全面布局結構光、雙目、iToF、dToF、激光雷達等主流3D視覺感知技術的公司。我這里并沒有給出哪種技術它的精度到底好還是不好,而是給了一些跟誤差相關的參數。

主流3D視覺感知技術對比

像結構光和雙目,它的誤差聯系最緊密的就是測量距離和焦距,可以看出它的誤差是隨著距離成平方關系的。iToF基本跟距離成線性關系,dToF幾乎就是一個常量,整體精度不隨距離的變化而變化,當然,dToF測量結果跟時間的精度關系很大。

3D視覺感知技術本身沒有“好”與“壞”之分,而是分別適合于不同的應用場景。我認為幾種技術之間,是一種優勢互補、長期并存的狀態。

3D視覺感知技術是趨勢,大規模產業化正當其時

我再分享幾個典型的應用場景。整體來說,結構光的優勢還是近距離感測,雙目的好處就在于它可近可遠。iToF在0.1到5米范圍內,dToF可以到幾百米,車載激光雷達的原理就是dToF。

奧比中光一直在做3D視覺感知技術,把這幾種技術從底層Sensor、芯片設計到光學、算法以及整體系統優化,都做了全方位深耕。我們為什么要這么做?舉個簡單的例子,如果企業核心的Sensor是買來的,那么做很多應用都會被局限住,就容易在一些關鍵領域被卡脖子。

奧比中光做了很多3D視覺感知模組,這些模組可以應用到的場景也很多,如手機前置、后置攝像頭,線下刷臉支付,汽車激光雷達、車內安防,智能門鎖,AR/VR,機器人,智慧畜牧,工業三維檢測等等。

奧比中光智能制造行業解決方案

當前,3D視覺感知技術已經在多個領域崛起,并且在迅速擴大應用規模。與此同時,我們也能看到光學產業已經在向亞洲乃至轉移——從20世紀中葉前歐洲國家德國為主獨占鰲頭,到1950年日本光學產業高速起飛而后制霸全球,從21世紀初期臺灣光學產業在智能手機鏡頭帶動下崛起,到近年來大陸光學產業科創新秀涌現、大規模應用落地,中國有望在3D感知技術產業實現彎道超車。

我們捕捉到了3D視覺感知技術在物聯網時代的應用浪潮,并大力發展底層核心技術和下游應用生態。

我希望,中國能夠在高端基礎組件比如Sensor、算法芯片、硅光技術等上,有自己的持續研發和生產能力,培養更多人才,不被“卡脖子”。我也希望有更多的人能夠加入到3D視覺感知這個方向上來,加入奧比中光,一起把產業做的越來越大,謝謝大家!