歡迎光臨
每天分享高質量文章

CVPR 2019 | 曠視研究院提出Re-ID新方法VPM,優化區域性成像下行人再識別

全球計算機視覺三大頂級會議之一 CVPR 2019 將於當地時間 6 月 16-20 日在美國洛杉磯舉辦。屆時,曠視研究院將帶領團隊遠赴盛會,助力計算機視覺技術的交流與落地。在此之前,曠視每周會介紹一篇被 CVPR 2019 接收的論文,本文是第 13 篇。圍繞行人再識別,並針對實際情況下行人經常被遮擋、僅能被部分成像這一困難,曠視研究院提出一種可見部件感知模型 VPM,其可通過自監督學習感知哪些部件可見或不可見,併在比較兩幅圖像時,聚焦在二者共同可見的部件上,顯著提高部分成像下的行人再識別準確率。

論文名稱:Perceive Where to Focus: Learning Visibility-aware Part-level Features for Partial Person Re-identification

論文鏈接:https://arxiv.org/abs/1904.00537

  • 導語

  • 簡介

  • 方法

    • VPM 結構

      • 部件定位器

      • 部件特征提取器

    • 使用 VPM 

    • 訓練 VPM

      • 自監督

  • 實驗

    • 大規模資料集實驗

    • 對比 SOTA

  • 結論

  • 參考文獻

  • 往期解讀

 

導語

 

近年來,行人再識別研究取得迅速進展,2018 年下,在公開資料集 Market-1501 上,SOTA 方法的一選準確率已達到 95% 甚至更高水平;與此同時,CV 產業界也開始發力,推動其場景落地。但是在實際 re-ID 系統中,一些極具挑戰性的問題正等待剋服,部分成像下的行人再識別(partial re-ID)即是其中之一。

 

在 partial re-ID 場景下,圖像可能只包含行人的部分可見信息,例如腿部被遮擋、只有上半身被成像。此時,未經針對性設計的行人再識別方法通常會遭遇性能“滑鐵盧”,無法再準確識別行人。

 

為此,曠視研究院聯合清華大學,提出一種可見性感知區域性模型 VPM(Visibility-aware Part Model),通過自監督學習感知哪些部件可見/不可見(這種能力稱之為“可見部件感知能力”),併在比較兩幅圖像時,聚焦在共同可見的部件上,顯著提高部分成像下的行人再識別準確率。

 

對於 partial re-ID,VPM 具有兩方面的優勢:1)VPM 引入了部件特征,因此,與在傳統全身的行人再識別(holistic re-ID)問題中一樣,部件特征受益於細粒度信息,獲得更好的鑒別能力;2)由於具備可見部件感知能力,VPM 可估計出兩張圖像之間的共享區域,併在評估其相似性時聚焦在共享區域,這種做法符合人腦識別行人的思維習慣。

 

實驗結果證明,VPM 可顯著改善特征表達,在 re-ID、尤其是 partial re-ID 問題上取得了優異性能。

 

簡介

 

行人再識別需要在行人圖像庫中,檢索出特定身份行人的所有圖像。儘管近年來進展迅速,但在實際應用之前,仍然遇到了一系列嚴峻挑戰,其中之一是區域性成像問題。在實際的 re-ID 系統中,一個行人可能被其他物體部分遮擋,或是正在走出攝像機視場,因此相機經常無法對行人進行全身成像,產生所謂的區域性成像下的行人再識別問題——partial re-ID。

 

 圖1:區域性再識別的兩項挑戰 (a)、(b) 以及曠視研究院提出的VPM方法 (c)    

 

直覺上來講,區域性成像必然加大行人檢索難度;若仔細分析可以發現,相較於整體的行人再識別,區域性成像又額外引入了兩項特有挑戰:

 

1. 區域性成像加劇了查詢(query)圖像與庫(gallery)圖像之間的空間錯位。全域性 re-ID 場景下,空間錯位主要源自行人姿態變化和觀察視角的變換;然而在區域性成像條件下,即便兩個行人姿態相同,從同一個視角觀察,兩張圖像間依然存在嚴重的空間錯位(如圖1(a))。

 

2. 如果生硬地比較全身圖像和半身圖像,二者之間不共享的區域(如圖 1(b)中藍色區域)不僅不再提供有益的線索,反而引入了額外的干擾噪聲。這種額外噪聲在對比兩幅缺失程度不同的圖像時也會發生。

 

針對上述挑戰,曠視研究院提出可見部件感知模型 VPM。給定一幅行人圖像,VPM 能夠感知哪些區域缺失、哪些區域可見,通過聚焦於兩幅圖共享的區域,VPM 避免或是說緩解了上述與區域性重識別相關的兩個特殊困難(如圖1(c))。

 

值得強調的是,VPM 不依賴於頭部、軀幹等語意部件,而是依賴於預先定義的方形區域作為部件。這種做法被 PCB 推廣,其性能在全身行人在識別問題上已超過語意部件特征學習。本文把這種思路進一步延續:部件特征學習並不需要依賴人類習慣的語意部件,採用預先定義的方形部件高效且準確率可能更高。VPM 正是由於採用這種做法,不再需要代價高昂的語意部件學習,僅僅通過自動監督學習,即可獲得最關鍵的可見部件感知能力。

 

具體而言,曠視研究員首先在完整齣現了人體的圖像上定義一系列區域。在訓練過程中,給定區域性行人圖像,VPM 可以學習去定位所有在捲積特征圖上的預定義區域。之後,VPM 會感知可見的區域,並學習區域層級的特征。在測試過程中,給定兩張待比較的圖像,VPM 首先會計算其共享區域之間的本地距離,然後得出兩張圖像的總體距離。

 

方法

 

VPM 結構

       

 圖2:VPM結構圖示

 

VPM 是一個全捲積網絡,結構如圖 2 所示。本文在完整的行人圖像上預先定義一個固定的部件分割,將圖像分成 p 個部件(如圖 2 分成上、中、下三個部件,即 p=3)。對於每一幅行人圖像,VPM 輸出固定數量的部件特征,以及相應的部件可見性得分。

 

註意,即使當前輸入圖像有一些部件不可見(例如圖 2 中輸入圖像的下端部件實際不可見),VPM 仍然會為所有部件分別產生一個部件特征(包括那些不可見部件),但不可見部件的可見性得分將很低(趨於零)。這樣,VPM 就能夠知道哪些部件特征有效,哪些部件特征無效、不予採信。

 

為了實現上述功能,VPM 在捲積層輸出 Tensor T 上附加一個部件定位器和一個部件特征提取器,前者通過自監督學習,學習 Tensor T 上的部件位置(及可見性得分),接著,後者則為每個部件生成一個相應特征。

 

自監督學習的構建非常直觀,如圖 2 所示。本文在完整的行人圖像上預先定義一個固定的部件分割,將圖像分成 p 個部件,然後裁剪,把裁減後的圖像縮放到固定尺寸輸入給 VPM。由於裁減引數可自動獲取,從而自然知道哪些部件是可見的(如圖中的上、中兩個部件),哪些部件是不可見的(如圖中的下端部件)。具體訓練方法請參見“訓練VPM”。

 

部件定位器

 

部件定位器直接在 T 上預測各個部件 pixel-wise 的分佈(也可以理解為一個圖像分割器,只不過分割的物件是預先定義好的部件),從而感知哪些區域可見。為此,部件定位器在 T 上使用一層 1 × 1 捲積及一個 Softmax 函式來構建一個 pixel-wise 的部件分類器,這個公式並不必要,但是為了後面取用時清晰明確,將其如下列出:

 

       

      

這個部件分類器實際上將產生 p 個分佈概率圖,每個分佈概率圖對應一個預先定義好的部件。這個分佈概率圖以 soft mask 的形式,直接指示出各個部件的位置。如果一個部件實際上不可見,那麼對應於它的分佈概率圖應該處處為零,即各個像素屬於這個部件的概率很小。

 

自然地,把各個概率圖加起來,即可得到相應的區域可見性得分 C。這個做法非常直觀:如果一個部件的分佈概率圖處處很小,那麼這個部件可見性則很低(即可能不可見)。

 

部件特征提取器

 

得到部件的概率分佈圖後,就可以簡單地利用帶權池化提取部件特征。公式同樣很簡單:

 

             

 

再次強調,通過上述公式,VPM 會給每個預先定義好的部件產生一個特征,即使某個部件實際不可見,但這沒關係,因為實際上已知道這個部件不可見,因此可不採信這個部件特征。具體如下節介紹。

使用 VPM

 

給定兩幅待比較的圖像,VPM 將提取其部件特征,並分別預測所有部件的可見性分數,即。為了度量兩幅圖像的相似性,首先計算各個部件之間的歐氏距離。在部件距離的基礎上,結合部件可見性得分,VPM 能夠推導兩幅圖像間的總體距離:

 

       

      

上式的效果是:採信可見區域之間的距離,忽視不可見區域之間的距離。換而言之,可見部件的距離將主導總體距離;相反,如果一個部件在任何圖像中沒出現,那麼其部件特征則被認為不可靠,無法對產生明顯影響。

 

這樣的呼叫過程非常高效:與 PCB 這種實用方法相比,VPM 僅僅增加了一層捲積運算用於預測部件可見性,計算距離則幾乎不增加時間(僅僅多了公式 4 所示的加權平均)。這使得 VPM 成為了為數不多的、能夠在 Market-1501 資料集上開展 partial re-ID 實驗的方法(也具有在大規模實際資料集上應用的潛力)。

訓練 VPM

 

VPM 的訓練包含 1)部件定位器的訓練和 2)部件特征提取器的訓練。兩者在 Tensor T 之前共享捲積層,並以多任務的方式被端到端訓練。部件定位器的訓練依靠自監督學習,而訓練部件特征提取器也需要自監督信號進行輔助。由實驗可知,自監督學習對 VPM 的性能至關重要。

 

自監督

 

自監督對於 VPM 十分關鍵,它監督 VPM 學習部件定位器,並要求 VPM 在學習部件特征時,放棄對不可靠的部件特征的監督,僅僅對可見區域施加監督。

 

部件定位器的訓練類似 Segmentation 訓練,這裡僅強調一下:Label 信息由自監督產生。部件特征的學習雖然也採用了常用的分類+度量學習聯合訓練,但需要做一些重要調整,如圖 3 所示。

 

 圖3:VPM通過輔助性自監督學習區域特征   

 

由於 VPM 會為所有部件分別生成一個部件特征,這導致在學習特征時出現一個非常重要的問題:只有可見部件的特征被允許貢獻訓練損失。借助自監督信號,曠視研究員動態地為特征學習選擇可見區域。實驗結果表明,如果不加區分地對所有部件特征施加監督,re-ID 準確率將劇烈降低。

 

總結一下,自監督對訓練 VPM 的貢獻體現在 3 個方面:

 

1. 自監督生成 pixel-wise 的部件標簽用以訓練部件定位器(類似於 Segmentation);

 

2. 在利用分類損失函式(Softmax Loss)學習部件特征時,自監督使 VPM 僅僅關註可見部件;

 

3. 利用度量學習(Triplet)學習部件特征時,自監督使 VPM 專註於圖像的共有區域。

實驗

 

大規模資料集實驗

 

本文首先利用兩個大型全身 re-ID 資料集(Market-1501 和 DukeMTMC-reID)合成相應的部分成像 re-ID 資料集上的實驗評估 VPM 的有效性。

 

本文用了兩種基線作為對比:首先是一個學習全域性特征的基線,它是利用分類損失函式和三元組損失函式聯合訓練的;第二個基線則是非常流行的全身部件特征模型 PCB。實驗結果如表 1 所示,可以看到 VPM 相對這兩種基線都有明顯提高。

       

  表1:VPM、baseline與PCB之間的對比      

 

對比 SOTA

 

本文在兩個公開資料集 Partial-REID 和 Partial-iLIDS 把 VPM 與當前最佳方法做了對比。本文訓練了 3 個版本的 VPM:1)VPM(bottom),訓練時總是丟棄隨機比例的上半身,而下部區域可見;2)VPM(top),訓練時總是丟棄隨機比例的下半身,而圖像的上部區域總是可見;3)VPM(bilateral),訓練時,圖像的上部和下部區域都有可能被隨機比例丟棄。對比結果如表 2 所示。

 

 表2:VPM在Partial-REID和Partial-iLIDS上的評估結果

 

可以看到,訓練時的 crop 策略對性能是有影響的,VPM(bottom)結果比較差。這是因為首先大部分資料集以及在實際情況中,大部分圖像是下半身缺失,而上半身可見,VPM(bottom)在訓練時的策略相反,背離了現實;此外,一般來講,上半身能夠提供的可鑒別線索本身就更為豐富。

 

文中還進行了一些其它有意思的實驗,例如通過 Ablation Study 分析各個環節中自監督對 VPM 性能的影響,VPM 定位各個部件的可視化實驗。

結論

  

本文提出一個基於可見部件感知的行人特征學習方法——VPM,它可解決區域性成像下的行人再識別問題。延續 PCB 的思路,VPM 沒有採用語意部件這種直觀做法,而是採用了均勻分割產生若干預定義的部件。通過自監督學習,VPM 能夠感知哪些部件可見、哪些部件缺失,並決定應該如何具體對比兩幅圖像。實驗結果表明,VPM 同時超越了全域性特征學習基線和部件特征學習基線,併在公開的 partial re-ID 資料集上取得了國際領先水平。

 

參考文獻

 

L. He, J. Liang, H. Li, and Z. Sun. Deep spatial feature reconstruction for partial person re-identification: Alignment-free approach. CoRR, abs/1801.00881, 2018.

Y. Sun, L. Zheng, Y. Yang, Q. Tian, and S. Wang. Beyond part models: Person retrieval with refined part pooling. In ECCV, 2018.

L. Zhao, X. Li, J. Wang, and Y. Zhuang. Deeply-learned part-aligned representations for person re-identification. In ICCV, 2017. 

L. Zheng, L. Shen, L. Tian, S. Wang, J. Wang, and Q. Tian. Scalable person re-identification: A benchmark. In ICCV, 2015.

L. Zheng, Y. Yang, and A. G. Hauptmann. Person re-identification: Past, present and future. arXiv preprint arXiv:1610.02984, 2016.

W. Zheng, S. Gong, and T. Xiang. Person re-identification by probabilistic relative distance comparison. In The 24th IEEE Conference on Computer Vision and Pattern Recognition, CVPR 2011, Colorado Springs, CO, USA, 20-25 June 2011, 2011.

W. Zheng, X. Li, T. Xiang, S. Liao, J. Lai, and S. Gong. Partial person re-identification. In 2015 IEEE International Conference on Computer Vision, ICCV 2015, Santiago, Chile, December 7-13, 2015, 2015.

Z. Zheng, L. Zheng, and Y. Yang. Unlabeled samples generated by gan improve the person re-identification baseline in vitro. In ICCV, 2017. 

 

傳送門

 

歡迎各位同學關註曠視研究院視頻分析組(以及知乎專欄「曠視Video組」:https://zhuanlan.zhihu.com/r-video),簡歷可以投遞給負責人張弛[email protected])。

赞(0)

分享創造快樂