ACNet：基于注意力的网络以利用互补特征进行RGBD语义分割
计算机视觉与模式识别
2019-05-27 v1
摘要
与RGB语义分割相比，RGBD语义分割可通过考虑深度信息取得更好的性能。然而，由于RGB与深度（D）图像的特征分布在不同场景中差异显著，现有分割器仍难以有效利用RGBD信息。本文提出一种注意力互补网络（ACNet），可有选择地从RGB与深度分支中聚合特征。主要贡献在于注意力互补模块（ACM）与三并行分支架构。更确切地说，ACM是一个基于通道注意力的模块，从RGB与深度分支中提取加权特征。该架构保留了原始RGB与深度分支的推理，同时启用融合分支。基于上述结构，ACNet能够从不同通道利用更多高质量特征。我们在SUN-RGBD与NYUDv2数据集上评估了模型，并证明我们的模型优于最先进的方法。特别地，在NYUDv2测试集上以ResNet50取得了48.3%的mIoU分数。我们将基于PyTorch的源代码及训练好的分割模型发布于 https://github.com/anheidelonghu/ACNet。
引用
@article{arxiv.1905.10089,
title = {ACNet: Attention Based Network to Exploit Complementary Features for RGBD Semantic Segmentation},
author = {Xinxin Hu and Kailun Yang and Lei Fei and Kaiwei Wang},
journal= {arXiv preprint arXiv:1905.10089},
year = {2019}
}
备注
Accepted to be published in 2019 IEEE International Conference on Image Processing (ICIP 2019), Sep 22-25, 2019, Taipei. IEEE Copyright notice added, 5 pages, 5 figures