基于注意力特征聚合的密集预测
计算机视觉与模式识别
2023-01-20 v3
摘要
跨不同网络层聚合特征信息是基于密集预测的模型的一项基本操作。尽管特征拼接的表达能力有限，它仍是聚合操作的主流选择。本文引入注意力特征聚合（AFA）以更具表达力的非线性操作融合不同网络层。AFA 利用空间与通道注意力计算各层激活的加权平均值。受神经体渲染启发，我们通过尺度空间渲染（SSR）扩展 AFA，以对多尺度预测进行后期融合。AFA 适用于多种现有网络设计。我们的实验在具有挑战性的语义分割基准（包括 Cityscapes、BDD100K 和 Mapillary Vistas）上显示出一致且显著的提升，且计算与参数开销可忽略。特别地，AFA 在 Cityscapes 上将 Deep Layer Aggregation（DLA）模型的性能提升了近 6% mIoU。实验分析表明，AFA 学习逐步细化分割图并改善边界细节，从而在 BSDS500 与 NYUDv2 的边界检测基准上取得新的 SOTA 结果。代码与视频资源见 http://vis.xyz/pub/dla-afa。
引用
@article{arxiv.2111.00770,
title = {Dense Prediction with Attentive Feature Aggregation},
author = {Yung-Hsu Yang and Thomas E. Huang and Min Sun and Samuel Rota Bulò and Peter Kontschieder and Fisher Yu},
journal= {arXiv preprint arXiv:2111.00770},
year = {2023}
}
备注
20 pages, 14 figures, WACV 2023