基于高效注意力的特征增强用于场景解析
计算机视觉与模式识别
2024-07-26 v1
摘要
场景解析的复杂性随着对象和场景类别的数量而增长，在不受限制的开放场景中更高。最大的挑战是在成功识别较小尺度对象的同时，建模场景元素之间的空间关系。本文提出了一种新颖的特征增强网络，从多个特征提取层收集空间上下文，并为每个表示层计算注意力权重以生成最终类别标签。设计了一种新颖的“通道注意力模块”来计算注意力权重，确保来自相关提取阶段的特征得到增强，而其他特征被衰减。该模型还学习低分辨率下的空间上下文信息，以保留场景元素之间的抽象空间关系并降低计算成本。在应用特征增强之前，空间注意力随后被拼接成最终特征集。低分辨率空间注意力特征通过辅助任务进行训练，该任务有助于学习粗略的全局场景结构。所提出的模型在ADE20K和Cityscapes数据集上均优于所有最先进的模型。
引用
@article{arxiv.2402.19250,
title = {Feature boosting with efficient attention for scene parsing},
author = {Vivek Singh and Shailza Sharma and Fabio Cuzzolin},
journal= {arXiv preprint arXiv:2402.19250},
year = {2024}
}