關於作者：陳泰紅，小米高階演演算法工程師，研究方向為人臉檢測識別，手勢識別與跟蹤。

■ 論文 | Parallel Tracking and Verifying

■ 連結 | https://www.paperweekly.site/papers/1613

■ 原始碼 | http://tinyurl.com/y94wn2yg

論文動機

標的追蹤是影片分析的基本任務，比標的識別更為複雜：標的追蹤可以把每一幀看作單獨的圖片，再進行識別，但標的追蹤不會這樣做，因為沒有考慮影片幀之間的冗餘資訊，效率低且慢。

標的追蹤一直有兩大陣營，CF 相關濾波和 CNN，當然也可以 CF+CNN 融合。

本文基於以下動機： 

1. 物體運動時，大部分時間運動平緩，外觀改變較慢。但是對於偶然發生的劇烈運動，需要複雜資訊處理，需要單獨驗證。 

2. CV 領域已經普及多執行緒計算，尤其 SLAM（Simultaneous localization and mapping、同步定位於地圖構建）領域。PTAM 演演算法的一個關鍵觀點是每一幀不是有必要構建地圖。對於標的追蹤而言，每一幀圖片也不需要單獨的驗證。 

3. tracking performance 和 efficiency 之間需要達到一種平衡。 

論文將 tracking 過程分解為兩個並行但是相互協作的部分：一個用於快速的跟蹤（fast tracking），另一個用於準確的驗證（accurate verification）。 

其實作者之前釋出的論文版本 [1] 已被 ICCV 2017 錄用，此版本在原文基礎上做了進一步的修訂。本文所有討論以 2018 年 1 月 在 arXiv 上釋出的版本為準。

該版本在原文基礎上做了以下改進： 

1. 使用更具有魯棒性的跟蹤器（Staple）提升效能。 

2. 動態標的模板池用於自適應驗證，放置標的外觀的變化。 

3. PTAV 的 V 和 T 進行了多方面驗證，比如 T 使用 VGGNet 和 AlexNet ，V 使用 KCF、fDSST 和 Staple。 

4. 使用更多實時性演演算法和基準，進行更徹底實驗驗證和分析。

論文模型

PTAV 演演算法架構包括三部分：Base Tracker T，Base Verifier V，以及它們之間的協調環節。

對於 T，論文選擇的是 Staple 演演算法 [2]。驗證環節 V 則選擇採用 Siamese network 驗證標的之間的相似性。對於協調環節，T 在合適的頻率傳送結果給 V，保證足夠的時間驗證。

為了改善 PTAV 的精度和速率，論文使用 k 均值聚類用於保持動態標的模板池用於自適應驗證。

實驗

論文的實驗資料詳實，在主要資料集 OTB2015，TC128，UAV20L 和 VOT2016 上均和典型演演算法進行了對比。

從精度和實時性考慮各個模型，如圖所示，OTB2015 資料集顯示效果。

總結

PTAV 的假設是大部分時間標的運動平滑，位置改變很慢。而較難的情況是運動的無規律性。論文提出的 verifying 時刻並不一定是運動改變的時刻，具有偶然性，所以對“打架鬥毆”等運動劇烈的情況會失敗。10 幀更新速率對 verifying 不是最好的選擇。 

對於同樣影片序列處理的 video segmentation，可以同樣考慮。因為影片的逐幀操作比較耗費時間，這種間隔性的驗證可大量節約資源。但是，對於劇烈變化的活動，更新會滯後。是否存在自使用速率變化的方法，這樣的坑可以繼續填。

參考文獻

[1] Parallel Tracking and Verifying: A Framework for Real-Time and High Accuracy Visual Tracking (ICCV2017)

[2] Staple: Complementary Learners for Real-Time Tracking

本文由 AI 學術社群 PaperWeekly 精選推薦，社群目前已改寫自然語言處理、計算機視覺、人工智慧、機器學習、資料挖掘和資訊檢索等研究方向，點選「閱讀原文」即刻加入社群！

#榜 單 公 布 #

2017年度最值得讀的AI論文 | NLP篇 · 評選結果公佈

2017年度最值得讀的AI論文 | CV篇 · 評選結果公佈

  我是彩蛋