SCORER：用于变化描述的自监督跨视角表征重建
计算机视觉与模式识别
2023-09-29 v1 计算与语言
摘要
变化描述旨在描述一对相似图像之间的差异。其关键挑战是如何在由视角变化引起的伪变化下学习稳定的差异表征。本文中，我们通过提出一种自监督跨视角表征重建（SCORER）网络来解决此问题。具体而言，我们首先设计多头逐令牌匹配来建模来自相似/不相似图像的跨视角特征间关系。然后，通过最大化两幅相似图像的跨视角对比对齐，SCORER 以自监督方式学习两个视角不变的图像表征。在此基础上，我们通过交叉注意力重建未变化对象的表征，从而学习用于描述生成的稳定差异表征。此外，我们设计了一种跨模态反向推理来提高描述质量。该模块利用描述和“前”表征反向建模一个“幻觉”表征。通过将其推近“后”表征，我们以自监督方式迫使描述包含关于差异的信息。大量实验表明我们的方法在四个数据集上取得了最先进的成果。代码见 https://github.com/tuyunbin/SCORER。
引用
@article{arxiv.2309.16283,
title = {Self-supervised Cross-view Representation Reconstruction for Change Captioning},
author = {Yunbin Tu and Liang Li and Li Su and Zheng-Jun Zha and Chenggang Yan and Qingming Huang},
journal= {arXiv preprint arXiv:2309.16283},
year = {2023}
}
备注
Accepted by ICCV 2023