基于对称性感知 Transformer 的镜面检测
计算机视觉与模式识别
2022-09-07 v3
摘要
镜面检测旨在识别给定输入图像中的镜子区域。现有工作主要集中于融合语义特征与结构特征以挖掘镜子与非镜子区域之间的特定关系，或引入深度、手性等镜子属性来辅助分析镜子的存在。本工作中，我们观察到真实物体通常与其在镜中的对应反射形成松散的对称关系，这有助于区分镜子与真实物体。基于该观察，我们提出了一种双路径的基于对称性感知 Transformer 的镜面检测网络（SATNet），其包含两个新颖模块：对称性感知注意力模块（SAAM）与对比融合解码器模块（CFDM）。具体而言，我们首先采用 Transformer 骨干网络对图像中的全局信息聚合进行建模，在双路径中提取多尺度特征。然后将高层双路径特征送入 SAAM 以捕捉对称关系。最后，我们融合双路径特征并利用 CFDM 逐步细化预测图以获得最终镜子掩码。实验结果表明，SATNet 在所有可用的镜面检测数据集上均优于 RGB 与 RGB-D 镜面检测方法。代码与训练模型见：https://github.com/tyhuang0428/SATNet。
引用
@article{arxiv.2207.06332,
title = {Symmetry-Aware Transformer-based Mirror Detection},
author = {Tianyu Huang and Bowen Dong and Jiaying Lin and Xiaohui Liu and Rynson W. H. Lau and Wangmeng Zuo},
journal= {arXiv preprint arXiv:2207.06332},
year = {2022}
}