原標(biāo)題：從硬件提升到軟硬協(xié)同，從華為P40Pro+看手機(jī)影像的系統(tǒng)進(jìn)化

智能手機(jī)十多年的發(fā)展，手機(jī)影像系統(tǒng)發(fā)生了重大的變化，一個(gè)手機(jī)攝影的新時(shí)代即將來臨，手機(jī)攝影正在沿著一條與傳統(tǒng)單反完全不同的新路徑進(jìn)化到了一個(gè)技術(shù)變革的臨界點(diǎn)上。

6月6日，華為P40Pro+正式上市，這款無論從影像系統(tǒng)的硬件規(guī)格，還是AI深度學(xué)習(xí)的算法平臺(tái)，直至到高質(zhì)量的照片輸出來看，這都是一款具備劃時(shí)代的產(chǎn)品。

一、手機(jī)拍照的演進(jìn)，從可用到逼近專業(yè)

智能手機(jī)這十多年來的發(fā)展，在處理性能和系統(tǒng)平臺(tái)不斷提升的同時(shí)，手機(jī)拍照也從原來的附屬功能逐步發(fā)展成為手機(jī)的主要功能，在這個(gè)演進(jìn)過程中，手機(jī)拍照性能的不斷提升，不僅絞殺了便捷式數(shù)碼相機(jī)行業(yè)，而且近幾年的發(fā)展，也正在給單反相機(jī)不斷制造麻煩。

受手機(jī)體積和成像模組技術(shù)的限制，手機(jī)拍照不能像單反相機(jī)一樣通過提升CMOS面積和提升光學(xué)鏡頭來提升照片質(zhì)量，為了提升手機(jī)的拍照性能，手機(jī)產(chǎn)業(yè)不斷突破空間的限制，手機(jī)廠商通過不同焦段多鏡頭組合來提升手機(jī)拍照的樂趣和提升便捷性，同時(shí)谷歌和蘋果最早通過軟件手段和AI算法的介入，來降低畫面的噪點(diǎn)和提升照片的清晰度。

原則上講，谷歌和蘋果開創(chuàng)的這種通過算法提升照片質(zhì)量的技術(shù)路徑，與傳統(tǒng)的單反相機(jī)的技術(shù)路線完全不同，這是一種全新的技術(shù)路線。

隨后，華為自P9開始延續(xù)了谷歌和蘋果在手機(jī)拍照方向的技術(shù)路線，并通過更為深入的技術(shù)探索，從硬件和深度學(xué)習(xí)兩個(gè)方向持續(xù)突破，使手機(jī)影像的畫面質(zhì)量和拍攝的便捷性、趣味性不斷提升，而最新上市的P40Pro+不僅在硬件素質(zhì)上達(dá)到了空前的高度，而且通過深度學(xué)習(xí)算法的不斷進(jìn)步，讓算法成為手機(jī)影像更為重要的技術(shù)影響因素，給計(jì)算攝影帶來了革命性的進(jìn)展。

二、華為P40Pro+如何將10倍光學(xué)變焦系統(tǒng)裝入6mm的空間？

今年3月份發(fā)布的華為P40系列手機(jī)，以5倍的光學(xué)變焦和超清畫質(zhì)給用戶帶來了非常便捷的拍攝體驗(yàn)和更加清晰、色彩準(zhǔn)確的畫質(zhì)。而最新上市的P40Pro+則以10倍的光學(xué)變焦讓手機(jī)攝影達(dá)到了空前的技術(shù)高度。

華為P40Pro+搭載了一枚5000萬像素的超感知攝像頭、一枚4000萬像素的電影攝像頭、一枚3D深感攝像頭，一枚3倍光學(xué)變焦攝像頭和一枚10倍光學(xué)變焦攝像頭（長焦端等效于35mm系統(tǒng)的240mm焦距），三枚攝影鏡頭的組合，實(shí)際上覆蓋了18mm到240mm的寬廣的焦段范圍，足以應(yīng)付從微距到人文、人像到長焦的使用環(huán)境。前置攝像頭華為P40Pro+和華為P40Pro一樣，采用的是3200萬像素（f/2.2光圈）主攝，搭配了一枚景深攝像頭，不僅提高了前置人像拍攝的趣味，也對(duì)人臉識(shí)別的準(zhǔn)確率有幫助。

華為P40Pro+的硬件提升，不僅在于提供了10光學(xué)變焦的拍攝，更大的挑戰(zhàn)在于，在240mm的長焦拍攝時(shí)，如何實(shí)現(xiàn)精確的對(duì)焦和防抖。

為了實(shí)現(xiàn)這一功能，在P40Pro+的10倍變焦系統(tǒng)中，華為設(shè)計(jì)出了由反射面、光學(xué)鏡頭組件、光線調(diào)整組件、驅(qū)動(dòng)組件、圖像傳感器組成的影像系統(tǒng)，通過5部分組件功能協(xié)同，實(shí)現(xiàn)了10倍變焦下的精準(zhǔn)對(duì)焦和拍攝。極其復(fù)雜的光路設(shè)計(jì)從構(gòu)想變?yōu)楝F(xiàn)實(shí)，對(duì)模組的組裝精度提出前所未有的挑戰(zhàn)。為此，P40Pro+引入多重AA制程主動(dòng)校準(zhǔn)技術(shù)、納米級(jí)鏡面平整工藝，最終才能在精巧結(jié)構(gòu)中實(shí)現(xiàn)光學(xué)奇跡。

P40Pro+在手機(jī)體積上和普通手機(jī)并無二致，要在拍照鏡頭上實(shí)現(xiàn)10倍的光學(xué)變焦，潛望式結(jié)構(gòu)就是唯一結(jié)構(gòu)。事實(shí)上要實(shí)現(xiàn)10倍光學(xué)變焦，焦點(diǎn)到CMOS成像模組的物理距離要比5倍光學(xué)變焦要多出178，普通的一次性光線折返很難達(dá)到光路的長度。這次華為在P40Pro+上，采用了高精度的光線5次折返結(jié)構(gòu)，通過類似"幾"次型光路，通過光線的5次折返，達(dá)到了240mm鏡頭需要的焦點(diǎn)到成像模組之間的光程，這個(gè)結(jié)構(gòu)非常巧妙，但也極大地增加了機(jī)械裝配難度。

同時(shí)因?yàn)楣饩€經(jīng)過了5次折返，使得第一塊折光反射板不僅可以具有折光的作用，也能通過雙軸運(yùn)動(dòng)實(shí)現(xiàn)防抖功能，這極大地提高了在240mm拍攝時(shí)的成片率。這套對(duì)焦機(jī)構(gòu)采用了滑槽式承載方式，搭配極強(qiáng)的磁力與杠桿原理，精巧地平衡了前端的反射鏡負(fù)載，并采用優(yōu)異的潤滑材料，使馬達(dá)高穩(wěn)定、高精度的移動(dòng)反射鏡，實(shí)現(xiàn)自動(dòng)對(duì)焦功能。

除了獨(dú)特的設(shè)計(jì)與功能之外，這顆對(duì)焦馬達(dá)還具備超長壽命的特點(diǎn)。據(jù)華為介紹一般馬達(dá)壽命測試多半到幾十萬次，而這顆特殊對(duì)焦馬達(dá)的壽命測試高達(dá)數(shù)百萬次，并支持在幾十度的異常高溫環(huán)境和零下二十多度的超低溫環(huán)境工作。

在實(shí)際使用中，如果在不考慮畫面質(zhì)量的情況下，華為P40Pro+在240mm的成片率遠(yuǎn)高于單反在200mm鏡頭上的成片率，因?yàn)槎秳?dòng)而造成的畫面模糊的情況只要稍加注意即可避免。

在P40Pro+的10倍光學(xué)變焦攝像頭模組的極為復(fù)雜和精確的結(jié)構(gòu)中，要實(shí)現(xiàn)10倍變焦的放大作用，極小的抖動(dòng)就會(huì)產(chǎn)生極大的圖像模糊，為了提高馬達(dá)控制精度，P40Pro+采用三彈片彈性系數(shù)配比設(shè)計(jì)，把旋轉(zhuǎn)中心抬升，減小不同姿態(tài)下重力對(duì)磁場位置傳感器（簡稱霍爾器件）信號(hào)的影響，并選取業(yè)內(nèi)靈敏度最高的霍爾器件，把信號(hào)檢測靈敏度提升到常規(guī)的三倍，并通過兩個(gè)霍爾器件的差分運(yùn)算作為位置檢測輸入，有效削減了噪聲，保證了防抖性能。

P40Pro+的這套復(fù)雜的光學(xué)機(jī)械結(jié)構(gòu)解決了在240mm焦段拍攝時(shí)抖動(dòng)和對(duì)焦的準(zhǔn)確性要求，使得手機(jī)攝影的10倍變焦具備了可用性，從實(shí)際樣張可以看出，在10倍光學(xué)變焦的情況下，畫面的反差、色彩和銳度都達(dá)到了可用的水平，在行業(yè)手機(jī)拍照頂級(jí)水準(zhǔn)。

較長的光程和折反結(jié)構(gòu)在一定程度上會(huì)造成光線的衰減，在P40Pro+上，為了提高鏡片的通透性，第一次在手機(jī)鏡頭上加入了玻璃鏡片，形成了玻璃樹脂混合結(jié)構(gòu)，這對(duì)提高圖像質(zhì)量帶來了比較大的益處。

除了10倍的光學(xué)變焦鏡頭外，P40Pro+的3倍光學(xué)變焦，等效于單反的85mm焦段，這是人像拍攝的最主要的焦段，用獨(dú)立的一只鏡頭負(fù)責(zé)人像拍攝，不僅實(shí)現(xiàn)了從18mm到240mm變焦的平滑過渡，而且通過算法介入，提高了畫面質(zhì)量。

就P40Pro+攝像模組整體而言，在硬件性能配置上達(dá)到了目前業(yè)界的頂級(jí)水平，這為畫質(zhì)的提升提供了高質(zhì)量信息輸入，同時(shí)通過復(fù)雜而精確的光學(xué)和機(jī)械結(jié)構(gòu)，實(shí)現(xiàn)了從18mm到240mm焦段的全覆蓋，為手機(jī)拍攝提供了更廣闊的應(yīng)用場景。

三、手機(jī)影像的革命性時(shí)代來臨

手機(jī)拍照技術(shù)經(jīng)過十多年的發(fā)展，從硬件方面的提升已經(jīng)見底，無論是從CMOS的面積提升還是從攝像頭的數(shù)量增加，受手機(jī)體積的限制和CMOS技術(shù)的限制，即使將CMOS像素提升到1億，也并不能對(duì)手機(jī)影像畫質(zhì)帶來明顯的改善。

手機(jī)影像需要走一條完全不同于傳統(tǒng)單反提升畫質(zhì)的道路。

正像我前面所說，計(jì)算攝影是一條完全不同于傳統(tǒng)攝影依靠硬件來提升畫質(zhì)的路線，通過傳感器的信號(hào)輸入，再通過深度學(xué)習(xí)的算法，重新將畫面信息做處理，最后輸出一張讓用戶滿意更接近到真實(shí)場景的照片，這是適合手機(jī)攝影的發(fā)展道路。這一理論通俗地來講，將傳統(tǒng)單反拍照的后期處理，直接通過算法加入到拍照環(huán)節(jié)，讓用戶直接得到更加完美的照片。

透過華為P40Pro+，我們看到了計(jì)算攝影的價(jià)值和更為廣闊的發(fā)展空間。

當(dāng)然，在手機(jī)拍照加入AI以提升畫質(zhì)并不是什么新鮮的技術(shù)，但之前的AI算法，更多的體現(xiàn)在遵循傳統(tǒng)拍照方式后畫面修正，但在華為P40系列的拍照理念上，我們看到了完全不一樣的技術(shù)路線，這是將算法作為了手機(jī)攝影的核心，而將多鏡頭作為了不同的信息源處理。

這就是華為此次推出的XDFusion的核心邏輯。

事實(shí)上，華為在計(jì)算攝影領(lǐng)域耕耘多年，XDFusion的推出，正是基于計(jì)算攝影的理論體系，重新對(duì)手機(jī)拍照進(jìn)行了革命性的變革。

那么深度學(xué)習(xí)對(duì)手機(jī)影像的影響有多大？這在很大程度上接近于一門玄學(xué)，很難簡單的解釋明白。正好華為在P40Pro+上提供了RAW格式輸出，我們可以通過對(duì)比RAW格式文件與最后輸出文件來對(duì)比深度學(xué)習(xí)算法對(duì)手機(jī)影像的影響。

第一張為原碼文件，第二張為同時(shí)拍攝的未開AI功能的jpg文件，無論從色彩、白平衡還是放大后的細(xì)節(jié)看，RAW格式未經(jīng)處理的手機(jī)照片，基本屬于不可用狀態(tài)，特別是放大后細(xì)節(jié)中的噪點(diǎn)非常多。而由XDFusion輸出的照片，無論從銳度、色彩還原度、細(xì)節(jié)描寫、噪點(diǎn)抑制等方面看，都是一張上佳的照片。如果我們可以把RAW格式輸出文件看成傳統(tǒng)單反的技術(shù)路線，而第二張就是計(jì)算攝影的技術(shù)結(jié)果。

在華為XDFusion系統(tǒng)中，我們大致可以將其分為三個(gè)階段，第一是多鏡頭的信號(hào)輸入，第二階段是計(jì)算機(jī)視覺的語義識(shí)別，而第三個(gè)階段將是基于神經(jīng)網(wǎng)絡(luò)單元的深度學(xué)習(xí)。

在一般的手機(jī)拍照中，攝像頭的拍照，基本上就是畫面的起點(diǎn)也是終點(diǎn)，但在華為XDFusion系統(tǒng)中，攝像頭的拍照，只是一個(gè)畫面輸出的起點(diǎn)。在P40Pro之前的華為系統(tǒng)中，雖然加入了TOF深度感知攝像頭可以輔助提升成像質(zhì)量，但各鏡頭之間是相互獨(dú)立完成不同焦段的拍攝，這也是行業(yè)通行的技術(shù)方式。而這次XDFusion，不僅實(shí)現(xiàn)了讓TOF鏡頭參與到了其它三只攝像頭的成像之中，更重要的是讓四枚攝像頭同時(shí)工作，并根據(jù)不同鏡頭的成像特征，形成了多信號(hào)輸出的圖像輸入單元，在這點(diǎn)上，華為在計(jì)算攝影上，遠(yuǎn)比谷歌、蘋果的系統(tǒng)更為徹底，并向計(jì)算攝影方向發(fā)展方向邁出了革命性的一步。

多信號(hào)源的協(xié)同，為后面計(jì)算機(jī)視覺識(shí)別和語義分析提供了更多的計(jì)算維度，也為最終照片輸出更能準(zhǔn)確還原提供了參考標(biāo)準(zhǔn)。

有了多鏡頭不同維度的信號(hào)輸入之后，XDFusion系統(tǒng)的計(jì)算機(jī)視覺單元開始進(jìn)行不同畫面的語義識(shí)別，并通過設(shè)定標(biāo)準(zhǔn)進(jìn)行不同場景的識(shí)別和主要特征的識(shí)別，比如說背景中的草原、藍(lán)天、樹林，以及拍照主體的人物、動(dòng)物或靜物花卉，并重新結(jié)構(gòu)化背景信息、主體及主體形勢等一系列畫面要素。

經(jīng)過重新結(jié)構(gòu)化的畫面信息，在神經(jīng)網(wǎng)絡(luò)處理單元會(huì)重新組合，并根據(jù)已經(jīng)經(jīng)過大量數(shù)據(jù)訓(xùn)練過的算法模型進(jìn)行進(jìn)一步的畫面優(yōu)化處理，不同畫面構(gòu)成的歸一化處理，包括準(zhǔn)確的白平衡、銳度、色彩飽和度、以及局部（比如臉部）的個(gè)性化特征處理。這是一種像素級(jí)的基于深度學(xué)習(xí)的處理，畫面質(zhì)量與輸入的信號(hào)有了天壤之別。

要完成這一流程的數(shù)據(jù)輸出、分析及處理，算法模型是核心，但要在拍攝的一瞬間輸出結(jié)果，算力也就成為了影響效率的關(guān)鍵。得益于麒麟990芯片獨(dú)立的NPU單元的超強(qiáng)計(jì)算能力，讓XDFusion復(fù)雜的計(jì)算體系達(dá)到了與普通手機(jī)一樣快的拍照效率。

XDFusion的出現(xiàn)，不僅讓手機(jī)多攝像頭發(fā)揮出了極大的效能，而且通過畫面信息的重新結(jié)構(gòu)和像素化的處理，讓手機(jī)拍照真正變成了計(jì)算攝影。

從產(chǎn)業(yè)發(fā)展來看，手機(jī)作為個(gè)人手持計(jì)算終端，體積不可能再大，在目前6英寸左右的屏幕和8mm左右的厚度中，純粹的堆料在手機(jī)攝影方面并不能真正提高畫質(zhì)，手機(jī)攝影需要從技術(shù)體系解決在有限的空間里如何最大可能的發(fā)揮硬件性能的技術(shù)方案。

像單反一樣提高硬件規(guī)格來提升畫質(zhì)的路徑已經(jīng)走到了盡頭，而計(jì)算攝影則是一條有效改變手機(jī)拍照功能必然之路。

華為P40Pro+就是開創(chuàng)了一個(gè)計(jì)算攝影新時(shí)代到來的一款里程碑式的產(chǎn)品。

這是一種在原有計(jì)算攝影基礎(chǔ)上創(chuàng)新的全新技術(shù)路線，也是充分利用現(xiàn)有的光學(xué)技術(shù)，最大可能地發(fā)揮在手機(jī)上實(shí)現(xiàn)最佳畫質(zhì)和便捷性的一種全新的技術(shù)路線。

這種技術(shù)路線的變革，帶來了什么樣的拍照體驗(yàn)？可以從樣張中表現(xiàn)出來。

廣角效果

10光學(xué)變焦下240mm端效果

大光比場景中的表現(xiàn)。天空的細(xì)節(jié)基本上得到了保留，暗部過渡仍然可見。

暗光環(huán)境中，噪點(diǎn)控制非常出色

靜物，高飽和度場景中，色彩并沒有溢出