基于位置保持注意力的显著目标排序
计算机视觉与模式识别
2021-06-11 v2
摘要
实例分割能检测图像中物体的位置，却难以理解它们之间的关系。我们关注一种典型关系：相对显著性。一项紧密相关的任务——显著目标检测——预测突出视觉显著区域的二值图，却难以区分多个物体。通过后期处理直接结合两项任务亦导致性能不佳。目前缺乏关于相对显著性的研究，限制了内容感知图像裁剪、视频摘要和图像标注等实际应用。本文中，我们研究显著目标排序（SOR）任务，其致力于依据视觉显著性为每个检测到的物体分配排序顺序。我们提出SOR任务的首个端到端框架，并以多任务学习形式求解。该框架同时处理实例分割与显著目标排序。在此框架中，SOR分支独立且灵活，可与不同检测方法协作，因此易于作为插件使用。我们还引入了为SOR分支量身定制的位置保持注意力（PPA）模块。其由位置嵌入阶段与特征交互阶段组成。考虑到位置在显著性比较中的重要性，我们在ROI池化操作中保留物体的绝对坐标，随后在第一阶段将位置信息与语义特征融合。在特征交互阶段，我们应用注意力机制获得提议的上下文表示以预测其相对排序顺序。我们在ASR数据集上进行了充分实验。无需繁冗修饰，我们所提方法显著优于先前最先进（SOTA）方法。代码将公开可用。
引用
@article{arxiv.2106.05047,
title = {Salient Object Ranking with Position-Preserved Attention},
author = {Hao Fang and Daoxin Zhang and Yi Zhang and Minghao Chen and Jiawei Li and Yao Hu and Deng Cai and Xiaofei He},
journal= {arXiv preprint arXiv:2106.05047},
year = {2021}
}