TransforMatcher：用于语义对应的匹配到匹配注意力
计算机视觉与模式识别
2022-05-25 v1
摘要
建立图像间的对应仍是一项具有挑战性的任务，尤其是在因不同视角或类内差异导致外观大幅变化的情况下。在本工作中，我们引入了一个强大的语义图像匹配学习器，称为 TransforMatcher，其构建于 transformer 网络在视觉领域的成功之上。与现有的基于卷积或注意力的对应方案不同，TransforMatcher 执行全局的匹配到匹配注意力以实现精确的匹配定位与动态细化。为处理稠密相关图中大量匹配，我们开发了轻量型注意力架构以考虑全局的匹配到匹配交互。我们还提出利用多通道相关图进行细化，将多级分数作为特征而非单一分数，以充分挖掘更丰富的层间语义。在实验中，TransforMatcher 在 SPair-71k 上确立了新的 SOTA，同时在 PF-PASCAL 数据集上与现有 SOTA 方法表现相当。
引用
@article{arxiv.2205.11634,
title = {TransforMatcher: Match-to-Match Attention for Semantic Correspondence},
author = {Seungwook Kim and Juhong Min and Minsu Cho},
journal= {arXiv preprint arXiv:2205.11634},
year = {2022}
}
备注
Accepted to CVPR 2022 (poster presentation)