|
作為3D 人臉重建、人臉識別、表情遷移及美化等應用的核心基礎技術，人臉關鍵點檢測算法一直是工業界和學術界的研究熱點。 近日，在第25屆國際模式識別大會ICPR 2020舉辦的人臉106關鍵點檢測挑戰賽中，搜狗AI團隊榮獲冠軍，彰顯其在計算機視覺領域的核心技術實力。 ICPR 2020大會是模式識別領域的一流國際會議，由國際權威學術組織---國際模式識別協會The International Association for Pattern Recognition，IAPR主辦，在本屆大會組織的人臉識別領域競賽單元-人臉106關鍵點檢測比賽中，搜狗AI 團隊在預賽驗證和決賽測試兩階段均取得第一，擊敗OPPO研究院、美團視覺中心、東南大學、西安交大等多支強隊，最終一舉摘得桂冠。 
圖1 本屆挑戰賽決賽階段前五名結果 ICPR人臉106關鍵點檢測挑戰賽是什么? 人臉關鍵點檢測算法的研究重點是在不同表情、性別、年齡、姿態、光照條件下，準確定位人臉輪廓及五官關鍵點，近年來偏向實用的人臉關鍵點檢測的國際評測陸續舉辦，國際一流計算機會議ICME 2019就曾舉辦人臉關鍵點檢測的比賽。 人臉106關鍵點檢測挑戰賽Grand Challenge of 106-p Facial Landmark Localization是ICPR 2020舉辦的八項比賽之一,相較于之前的評測，本次ICPR 2020大會舉辦的評測難度更大。其測試樣本涵蓋大姿態、極端表情、遮擋等多種高難度、復雜的情況，且訓練樣本少，對算法的泛化能力、準確性及魯棒性等多個方面提出了巨大的挑戰，在比拼檢測精度的同時，更加追求技術的實用化程度，對模型復雜度做了更加嚴格的要求，模型大小需要低于20 MB，運算復雜度不超過 1GFLOPs，希望推動更加高效并且魯棒的輕量級人臉關鍵點檢測算法的技術進步，因此極富學術和實用價值，吸引了數十家企業和高校的參賽隊伍參賽。 
圖2 本屆比賽數據集圖片樣例 搜狗本屆比賽奪冠的技術優勢是什么? 作為本屆賽事的冠軍隊伍，搜狗AI團隊在人臉關鍵點檢測技術上有三個重要突破。 首先，采用基于HRNet基礎模型的改進版本，利用不同分辨率之間特征全融合的方式，有效學習不同尺度圖像的語義信息，同時為了保證算法的精度，搜狗增加了HRNet不同分辨率分支的通道數,從而在人臉關鍵點檢測任務上表現出了出色的效果; 
圖3 使用的HRnet網絡結構 其次，在卷積層部分采用組卷積，并且把其中的瓶頸層BottleNeck改換為MobileNet V2中的逆殘差結構Inverted Residuals，設置逆殘差結構的擴展參數為1，從而有效的降低了模型的復雜度;經典殘差結構：1x1壓縮-gt;3x3卷積-gt;1x1升維，逆殘差結構：1x1升維-gt;3x3dw conv+relu-gt;1x1降維+線性變換，這對基于移動端設計的小模型有廣泛的效果提升作用。 
圖4 殘差結構圖 最后，除了使用常規的平移、旋轉等數據增強策略，還使用了PDBPose-based Data Balancing策略。該策略統計訓練數據集中的不同姿態的圖片的數量，然后通過簡單的復制數量較少的姿態的圖片，從而解決了不同的姿態的數據不均衡的問題，對大姿態下關鍵點的預測起到有效的作用。 表1 本屆比賽使用的網絡結構 
最終搜狗的算法在模型大小12MB，模型計算復雜度0.887GFLOPs的基礎上，取得了本次比賽中最好的性能，模型累計誤差分布曲線面積指標AUC達到80.52，歸一化平均誤差NME為1.58，預測失誤率FR@0.08只有0.05。 
圖5 人臉關鍵點的累計誤差分布圖 曲線與橫軸圍成的面積越大算法性能越優異 
圖5搜狗AI的比賽測試結果樣例 堅持技術創新與應用落地并重，搜狗核心AI技術持續領先 搜狗在自然交互與知識計算的人工智能戰略指引下，堅持以語言為核心的人工智能研究，近年來在語音、計算機視覺、問答、翻譯、對話等核心技術領域取得突破性進展。 在技術創新方面，搜狗在計算機視覺領域一直保持著強勁實力。通用技術方向，于2018 年在CVPR WAD自動駕駛視覺競賽中奪得道路目標檢測任務第一名;在國際自動駕駛領域權威評測集Cityscapes實例分割評測任務中同樣拿到第一名的好成績。OCR方向，于2019年11月刷新了ICDAR 2019 ArT檢測、識別、端到端三項單元的新記錄;人臉識別方向，于2018年11月在人臉識別一流評測 MegaFace 的Face Identification人臉識別任務中，基于百萬規模級別的人臉數據庫以 99.939 的識別準確率斬獲大賽第一名;本次ICPR 2020人臉106關鍵點檢測挑戰賽中又一次取得技術突破獲得冠軍，證明了搜狗在計算機視覺領域的領先實力。 在應用落地方面，搜狗自研的人臉相關技術已經應用于搜狗核心產品及解決方案中，其中，領先行業的數字人解決方案-搜狗分身已大量使用了自研的人臉關鍵點檢測、識別以及生成技術，技術的不斷突破有力確保了搜狗分身的領先優勢;搜狗首創的基于模態注意力機制的語音+唇語的多模態識別技術，強噪聲場景下識別準確率提升36;搜狗最新發布的搜狗AI錄音筆-E2在語音能力之外新增了視覺能力，能夠支持文檔圖像識別OCR等技術，后續會陸續擴展人臉識別等相關應用。本次參賽的技術以應用落地為導向，已具備了大規模部署的能力，不久的將來會與搜狗分身、AI硬件、多模態識別等能力產生聯動效應，進一步提升搜狗AI創新產品的用戶體驗。 未來，搜狗將持續在計算機視覺領域推動核心技術研發及創新，不斷擴展技術成果的應用落地，帶給用戶更多差異化的優質體驗。 |
- 關注天氣:
