杭州都市網

近日，計算機視覺方向的三大國際頂級會議之一的ECCV 2020公布論文獲獎結果。本次ECCV 2020有效投稿5025篇，最終被接受發表論文1361篇，錄取率為27，較上屆有所下降。其中，oral的論文數為104篇，占提交總量的2；spotlight的數目為161篇，占提交總量的5；其余論文均為poster。

ECCV （European Conference on Computer Vision，即歐洲計算機視覺國際會議是國際頂尖的計算機視覺會議之一，每兩年舉行一次。隨著人工智能的發展，計算機視覺的研究深入和應用迅速發展，每次舉行都會吸引大量的論文投稿，而今年ECCV的投稿量更是ECCV 2018的兩倍還多，創下歷史新高。在競爭越來越激烈的情況下，本次ECCV騰訊優圖實驗室共入選8篇論文，涵蓋目標跟蹤、行人重識別、人臉識別、人體姿態估計、動作識別、物體檢測等熱門及前沿領域，再次展示了騰訊在計算機視覺領域的科研及創新實力。

以下為部分騰訊優圖入選ECCV 2020的論文：

01

鏈式跟蹤器：基于目標對回歸的端到端聯合檢測跟蹤算法

Chained-Tracker:?

Chaining Paired Attentive Regression Results for?

End-to-End Joint Multiple-Object Detection and Tracking

現有的多目標跟蹤（MOT）算法大多是基于傳統的先檢測后跟蹤的框架，包含目標檢測、特征提取、目標關聯這三個模塊，還有少數MOT算法將三個模塊中的某兩個融合實現部分端到端跟蹤，本文提出了一種鏈式跟蹤算法Chained-Tracker（CTracker），業內首創兩幀輸入模式，可將上述三個模塊集成至單個網絡中，實現端到端聯合檢測跟蹤，是第一個將跟蹤算法中的目標關聯問題轉化為兩幀檢測框對（Box pair）回歸問題的算法。網絡的輸入為相鄰兩幀，稱之為節點（Chain node），網絡的輸出為表示同一個目標在相鄰兩幀中的檢測框對，相鄰節點的檢測框對可通過共同幀關聯。為進一步提高跟蹤效果，我們還設計了聯合注意力模塊來突出檢測框對回歸中的有效信息區域，包括目標分類分支中的目標注意力機制和身份驗證分支中的身份注意力機制。在不引入額外數據的情況下，CTracker在MOT16和MOT17上均獲得了SOTA的結果，MOTA分別為67.6和66.6。

算法框架圖：

網絡結構圖：

02

請別來打擾我：在其他行人干擾下的行人重識別

Do Not Disturb Me：

Person Re-identification Under the Interference of Other Pedestrians

傳統的行人重識別假設裁剪的圖像只包含單人。然而，在擁擠的場景中，現成的檢測器可能會生成多人的邊界框，并且其中背景行人占很大比例，或者存在人體遮擋。從這些帶有行人干擾的圖像中提取的特征可能包含干擾信息，這將導致錯誤的檢索結果。為了解決這一問題，本文提出了一種新的深層網絡（PISNet）。PISNet首先利用Query圖片引導的注意力模塊來增強圖片中目標的特征。此外，我們提出了反向注意模塊和多人分離損失函數促進了注意力模塊來抑制其他行人的干擾。我們的方法在兩個新的行人干擾數據集上進行了評估，結果表明，該方法與現有的Re-ID方法相比具有更好的性能。

03

通過分布蒸餾損失改善人臉識別中的困難樣本

Improving Face Recognition?

from Hard Samples via Distribution Distillation Loss

目前基于深度學習的人臉識別算法已經可以較好的處理簡單樣本，但對于困難樣本（低分辨率、大姿態等）仍表現不佳。目前主要有兩種方式嘗試解決這一問題。第一種方法是充分利用某種需要處理的人臉畸變的先驗信息，設計特定的結構或損失函數。這種方式通常不能方便地遷移到其他畸變類型。第二種方法是通過設計合適的損失函數，減小類內距離，增大類間距離，得到更具辨別能力的人臉特征。這種方式一般在簡單和困難樣本上存在明顯的性能差異。為了提升人臉識別模型在困難樣本上的性能，我們提出了一種基于分布蒸餾的損失函數。具體來說，我們首先通過一個預訓練的識別模型構造兩種相似度分布（從簡單樣本構造的Teacher分布和從困難樣本的Student分布），然后通過分布蒸餾損失函數使Student分布靠近Teacher分布，從而減小Student分布中的同人樣本和非同人樣本的相似度重合區域，提高困難樣本的識別性能。我們在常用的大規模人臉測試集和多個包含不同畸變類型（人種、分辨率、姿態）的人臉測試集上進行了充分的實驗，驗證了方法的有效性。

04

基于對抗語義數據增強的人體姿態估計

Adversarial?Semantic?Data?Augmentation?

for?Human?Pose?Estimation

人體姿態估計主要目的是定位人體的關鍵點坐標。目前的SOTA方法在嚴重遮擋、旁人干擾、對稱相似三種困難場景中表現仍有待提升。一個主要的原因是這三種困難場景的訓練數據較少。之前的方法主要是利用scale、rotation、translation等global spatial transform的方法去進行訓練數據增強。這類常規的數據增強方法并不能對上述三種困難場景有提升和幫助。本文提出了一種Adversarial Semantic Data Augmentation（對抗語義數據增強方法）。該方法把人體分成多個有語義的部件，并對這些人體部件在不同的細粒度上進行重組，從而去模擬出上述三種困難場景。在重組人體部件的過程中，有多個空間變換參數來調節每一個人體部件，從而靈活的組合旁人遮擋、手臂交叉、復雜動作等情況。為了讓人體姿態估計網絡能更好的學習到對這些困難場景的魯棒性，我們設計了另外一個生成網絡（G）用于控制每個人體部件的空間變換參數，人體姿態估計網絡作為判別網絡（D）從G生成的困難樣本里面去學習。G和D在訓練過程中互相對抗。G網絡不斷的生成各種困難樣本，以迷惑人體姿態估計網絡。而人體姿態估計網絡從這個對抗過程中也不斷提升了自己對困難場景的預測準確性。

05

基于特征解耦的人臉活體檢測

Face?Anti-Spoofing?via?

Disentangled Representation Learning

活體檢測技術用于在身份驗證場景中確定對象是否為真人，以防御照片、面具、屏幕翻拍等多種方式的攻擊，保證人臉識別安全。目前基于RGB圖像的活體檢測方法往往從圖片中直接提取判別性特征，但該特征可能包含了光照、背景或ID等與活體任務無關的信息，影響方法實際使用的泛化性。針對泛化性問題，本文從特征解耦角度出發，提出以下創新點：

1、設計解耦框架將圖片特征解耦成活體相關特征和活體無關特征兩部分，并利用活體相關特征進行真假判別。

2、結合底層紋理特征約束和高層深度特征約束，進一步促進活體特征的解耦。

3、探索并展示了影響活體特征的因素，例如攻擊介質、采集設備等，進一步深入理解活體任務本質。

本文在多個學術數據集上證明了基于輔助約束的特征解耦方法在活體任務上的有效性。

06

SSCGAN：基于風格跳躍連接的人臉屬性編輯

SSCGAN:

Facial Attribute Editing via Style Skip Connections

現有的人臉屬性編輯方法通常采用編碼器-解碼器結構，其中屬性信息被表達成一個one-hot向量然后與圖像或特征層拼接起來。然而，這樣的操作只學到了局部的語義映射而忽略了全局的人臉統計信息。我們在本文提出通過修改通道層面的全局信息風格特征來解決這個問題。我們設計了一個基于風格跳躍連接的生成對抗網絡SSCGAN來實現精準的人臉屬性操縱。具體來說，我們在編碼器和解碼器之間的多個風格跳躍連接路徑上注入目標屬性信息。每個連接會抽取編碼器中的隱藏層的風格特征,然后做一個基于殘差的映射函數來將這個風格特征遷移到目標屬性的空間。接下來，這個被調整過的風格特征可以用作輸入來對解碼器的隱藏層特征做實例歸一化。此外，為了避免空間信息的損失比如頭發紋理或瞳孔位置，我們進一步引入了基于跳躍連接的空間信息傳遞模塊。通過對全局風格和局部空間信息的操縱，本文提出的方法可以得到在屬性生成準確率和圖像質量上都更好的結果。實驗結果表明本文的算法和現有的所有方法相比都有優越性。

07

基于時序性差異表征的動作識別

Temporal?Distinct?Representation?Learning?

for?Action?Recognition

2D卷積神經網絡已經廣泛應用于圖像識別當中并取得成功，研究人員現在在嘗試利用2D卷積神經網絡來對視頻進行建模。然而利用2D卷積的局限性在于視頻的不同幀共享參數，會導致重復、冗余的信息提取，尤其是空間語義層面會忽略幀間的重要變化。在這篇工作中，我們嘗試通過兩種方式來解決這一問題：

一是設計了一種通道層面的序列化注意力機制PEM來逐步地激活特征中有區分性的通道，從而避免信息的重復提??；

二是設計了一種時序多樣性損失函數（TD Loss）來強制卷積核關注并捕捉幀間的變化而不是表觀相似的區域。

在時序性較強的數據集something-something V1和V2上，我們的方法取得了SOTA效果；另外在時序性較弱但規模較大的Kinetics數據集上，我們的方法也取得了可觀的精度提升。

結構示意圖：

效果示意圖：

08

物體檢測中檢測框學習的深入優化

Dive Deeper Into Box for Object Detection

無錨框檢測模型現已成為具有最高檢測水準的最新方法，歸因于準確的邊界框估計。然而無錨框檢測在邊界定位上還有不足，對于具有最高置信度的邊界框仍有很大的改進空間。在這項工作中，我們采用了一種邊界重排序的邊界框重組策略，使得在訓練中能夠產生更優的邊界框，從而對物體有更好的貼合。此外，我們觀察到現有方法在邊界框分類與位置回歸學習中存在語義不一致性，所以我們對訓練過程中分類與回歸目標進行了篩選，從而給出了語義一致性的學習目標。實驗證明我們的優化方法上對于檢測性能的提升十分有效。

方法示意圖