歡迎光臨
每天分享高質量文章

CVPR 2019 | PoolNet:基於池化技術的顯著性標的檢測

作者丨文永亮

學校丨哈爾濱工業大學(深圳)

研究方向丨標的檢測、GAN

研究動機

這是一篇發表於 CVPR 2019 的關於顯著性標的檢測的 paper,在 U 型結構的特征網絡中,高層富含語意特征捕獲的位置信息在自底向上的傳播過程中可能會逐漸被稀釋,另外捲積神經網絡的感受野大小與深度是不成正比的。

 

目前很多流行方法都是引入 Attention(註意力機制),但是本文是基於 U 型結構的特征網絡研究池化對顯著性檢測的改進,具體步驟是引入了兩個模塊GGM (Global Guidance Module,全域性引導模塊) 和 FAM (Feature Aggregation Module,特征整合模塊),進而銳化顯著物體細節,並且檢測速度能夠達到 30FPS。因為這兩個模塊都是基於池化做的改進所以作者稱其為 PoolNet,並且放出了原始碼:

https://github.com/backseason/PoolNet

 

模型架構

 

兩個模塊

 

GGM(全域性引導模塊)

我們知道高層語意特征對挖掘顯著物件的詳細位置是很有幫助的,但是中低層的語意特征也可以提供必要的細節。因為在 top-down 的過程中,高層語意信息被稀釋,而且實際上的感受野也是小於理論感受野,所以對於全域性信息的捕捉十分的缺乏,導致顯著物體被背景吞噬。

 

因此作者提出了 GGM 模塊,GGM 其實是 PPM(Pyramid Pooling module,金字塔池化模塊)的改進並且加上了一系列的 GGFs(Global Guiding Flows,全域性引導流),這樣做的好處是,在特征圖上的每層都能關註到顯著物體,另外不同的是,GGM 是一個獨立的模塊,而 PPM 是在 U 型架構中,在基礎網絡(backbone)中參與引導全域性信息的過程。 

 

其實這部分論文說得並不是很清晰,沒有說 GGM 的詳細結構,我們可以知道 PPM [7] 的結構如下:

 

該 PPM 模塊融合了 4 種不同金字塔尺度的特征,第一行紅色是最粗糙的特征–全域性池化生成單個 bin 輸出,後面三行是不同尺度的池化特征。為了保證全域性特征的權重,如果金字塔共有 N 個級別,則在每個級別後使用 1×1 的捲積將對於級別通道降為原本的 1/N。再通過雙線性插值獲得未池化前的大小,最終 concat 到一起。 

 

如果明白了這個的話,其實 GGM 就是在 PPM 的結構上的改進,PPM 是對每個特征圖都進行了金字塔池化,所以作者說是嵌入在 U 型結構中的,但是他加入了 global guiding flows(GGFs),即 Fig1 中綠色箭頭,引入了對每級特征的不同程度的上採樣映射(文中稱之為 identity mapping),所以可以是個獨立的模塊。

 

簡單地說,作者想要 FPN 在 top-down 的路徑上不被稀釋語意特征,所以在每次橫向連接的時候都加入高層的語意信息,這樣做也是一個十分直接主觀的想法。 

 

FAM(特征整合模塊)

 

特征整合模塊也是使用了池化技巧的模塊,如下圖,先把 GGM 得到的高層語意與該級特征分別上採樣之後橫向連接一番得到 FAM 的輸入 b,之後採取的操作是先把 b 用 {2,4,8} 的三種下採樣得到藍綠紅特征圖然後 avg pool(平均池化)再上採樣回原來尺寸,最後藍綠紅紫(紫色是 FAM 的輸入 b)四個分支像素相加得到整合後的特征圖。

 

 

FAM 有以下兩個優點: 

 

1. 幫助模型降低上採樣(upsample)導致的混疊效應(aliasing);

 

2. 從不同的多角度的尺度上縱觀顯著物體的空間位置,放大整個網絡的感受野。 

 

第二點很容易理解,從不同角度看,不同的放縮尺度看待特征,能夠放大網絡的感受野。對於第一點降低混疊效應的理解,用明珊師姐說的話,混疊效應就相當於引入雜質,GGFs 從基礎網絡最後得到的特征圖經過金字塔池化之後需要最高是 8 倍上採樣才能與前面的特征圖融合,這樣高倍數的採樣確實容易引入雜質。

 

作者就是因為這樣才會提出 FAM,進行特征整合,先把特征用不同倍數的下採樣,池化之後,再用不同倍數的上採樣,最後疊加在一起。因為單個高倍數上採樣容易導致失真,所以補救措施就是高倍數上採樣之後,再下採樣,再池化上採樣平均下來可以彌補錯誤

 

 

上圖就是為了說明 FAM 的優點的,經過高倍上採樣之後的圖像(b)和(d)容易引入許多雜質,致使邊緣不清晰,但是經過 FAM 模塊之後的特征圖就能降低混疊效應

 

實驗結果

 

論文在常用的 6 種資料集上做了實驗,有 ECSSD [8], PASCALS [9], DUT-OMRON [10], HKU-IS [11], SOD [12] 和 DUTS [13], 使用二值交叉熵做顯著性檢測,平衡二值交叉熵(balanced binary cross entropy)[14] 作為邊緣檢測(edge detection)。

 

以下是文章方法跟目前 state-of-the-arts 的方法的對比效果,綠框是 GT,紅框是本文效果。可以看到無論在速度還是精度上都有很大的優勢。

 

論文還針對三個改進的技術 PPM、GGFs 和 FAMs 的不同組合做了實驗,(a) 是原圖,(b) 是 Ground truth,(c) 是 FPN 的結果,(d) 是 FPN+FAMs,(e) 是 FPN+PPM,(f) 是 FPN+GGM,(g) 是 FPN+GGM+FAMs。

 

總結

 

該 paper 提出了兩種基於池化技術的模塊 GGM(全域性引導模塊)和 FAM(特征整合模塊),改進 FPN 在顯著性檢測的應用,而且這兩個模塊也能應用在其他金字塔模型中,具有普遍性,但是 FAM 的整合過程我認為有點像是用平均中和了上採樣帶來的混疊效應,但是不夠優雅,先下採樣池化再上採樣帶來的損失可能代價太大

 

參考文獻

[1]. Hengshuang Zhao, Jianping Shi, Xiaojuan Qi, Xiaogang Wang, and Jiaya Jia. Pyramid scene parsing network. In CVPR, 2017. 1, 3. 

[2]. Tiantian Wang, Ali Borji, Lihe Zhang, Pingping Zhang, and Huchuan Lu. A stagewise refinement model for detecting salient objects in images. In ICCV, pages 4019–4028, 2017. 1, 3, 6, 7, 8.

[3].Nian Liu and Junwei Han. Dhsnet: Deep hierarchical saliency network for salient object detection. In CVPR, 2016.1, 2, 3, 7, 8. 

[4]. Qibin Hou, Ming-Ming Cheng, Xiaowei Hu, Ali Borji, Zhuowen Tu, and Philip Torr. Deeply supervised salient object detection with short connections. IEEE TPAMI, 41(4):815–828, 2019. 1, 2, 3, 5, 6, 7, 8. 

[5]. Tiantian Wang, Ali Borji, Lihe Zhang, Pingping Zhang, and Huchuan Lu. A stagewise refinement model for detecting salient objects in images. In ICCV, pages 4019–4028, 2017. 1, 3, 6, 7, 8. 

[6]. Tiantian Wang, Lihe Zhang, Shuo Wang, Huchuan Lu, Gang Yang, Xiang Ruan, and Ali Borji. Detect globally, refine locally: A novel approach to saliency detection. In CVPR, pages 3127–3135, 2018. 1, 3, 6, 7, 8. 

[7]. Hengshuang Zhao, Jianping Shi, Xiaojuan Qi, Xiaogang Wang, and Jiaya Jia. Pyramid scene parsing network. In CVPR, 2017. 1, 3. 

[8]. Qiong Yan, Li Xu, Jianping Shi, and Jiaya Jia. Hierarchical saliency detection. In CVPR, pages 1155–1162, 2013. 1, 5, 8.

[9]. Yin Li, Xiaodi Hou, Christof Koch, James M Rehg, and Alan L Yuille. The secrets of salient object segmentation. In CVPR, pages 280–287, 2014. 5, 7, 8. 

[10]. Chuan Yang, Lihe Zhang, Huchuan Lu, Xiang Ruan, and Ming-Hsuan Yang. Saliency detection via graph-based manifold ranking. In CVPR, pages 3166–3173, 2013. 5, 6, 7, 8.

[11]. Guanbin Li and Yizhou Yu. Visual saliency based on multiscale deep features. In CVPR, pages 5455–5463, 2015. 2, 5, 6, 7, 8. 

[12]. Vida Movahedi and James H Elder. Design and perceptual validation of performance measures for salient object segmentation. In CVPR, pages 49–56, 2010. 5, 6, 7, 8. 

[13]. Lijun Wang, Huchuan Lu, Yifan Wang, Mengyang Feng, Dong Wang, Baocai Yin, and Xiang Ruan. Learning to detect salient objects with image-level supervision. In CVPR, pages 136–145, 2017. 5, 7, 8.

[14]. Saining Xie and Zhuowen Tu. Holistically-nested edge detection. In ICCV, pages 1395–1403, 2015. 6.

赞(0)

分享創造快樂