R$^3$Net：用于变化描述的关系嵌入表示重建网络
计算与语言
2021-10-22 v1 计算机视觉与模式识别
摘要
变化描述旨在使用自然语言句子描述两幅相似图像间的细粒度差异。视角变化是该任务中最典型的干扰因素，因其改变物体尺度与位置并掩盖真实变化的表示。本文提出关系嵌入表示重建网络（RNet），以从大量杂波与无关变化中显式区分真实变化。具体地，首先设计关系嵌入模块以在大量杂波中探索潜在变化物体。随后，基于两幅图像中对应位置的语义相似性，设计表示重建模块（RRM）以学习重建表示并进一步建模差异表示。此外，我们引入句法骨架预测器（SSP）以增强变化定位与描述生成间的语义交互。大量实验表明，所提方法在两个公开数据集上取得了最先进（SOTA）结果。
引用
@article{arxiv.2110.10328,
title = {R$^3$Net:Relation-embedded Representation Reconstruction Network for Change Captioning},
author = {Yunbin Tu and Liang Li and Chenggang Yan and Shengxiang Gao and Zhengtao Yu},
journal= {arXiv preprint arXiv:2110.10328},
year = {2021}
}
备注
Accepted by EMNLP 2021