用于深度表征学习的整体引导解码器及其在语义分割与目标检测中的应用
计算机视觉与模式识别
2020-12-21 v1
摘要
高层级与高分辨率特征表示在各种视觉理解任务中都极为重要。为获取带有高层语义信息的高分辨率特征图，一种常见策略是在骨干网络中采用空洞卷积来提取高分辨率特征图，例如基于 dilatedFCN 的语义分割方法。然而，由于许多卷积操作在高分辨率特征图上进行，此类方法具有较大的计算复杂度和内存消耗。本文提出一种新颖的整体引导解码器，通过编码器的多尺度特征来获取高分辨率且语义丰富的特征图。该解码通过新颖的整体码字生成与码字组装操作实现，充分利用了编码器特征中的高层与低层特征。借助所提出的整体引导解码器，我们实现了用于语义分割的 EfficientFCN 架构以及用于目标检测与实例分割的 HGD-FPN。EfficientFCN 在 PASCAL Context、PASCAL VOC、ADE20K 数据集上以仅三分之一的计算成本取得了与最先进方法相当甚至更优的性能。同时，所提出的 HGD-FPN 在集成到若干以 ResNet-50 为编码骨干的目标检测框架时，取得了 更高的平均精度均值（mAP）。
引用
@article{arxiv.2012.10162,
title = {A Holistically-Guided Decoder for Deep Representation Learning with Applications to Semantic Segmentation and Object Detection},
author = {Jianbo Liu and Sijie Ren and Yuanjie Zheng and Xiaogang Wang and Hongsheng Li},
journal= {arXiv preprint arXiv:2012.10162},
year = {2020}
}
备注
arXiv admin note: substantial text overlap with arXiv:2008.10487