RCA-NOC：面向新物体描述的相对对比对齐
计算机视觉与模式识别
2023-12-12 v1
摘要
在本文中，我们提出了一种新颖的新物体描述方法，该方法采用相对对比学习来学习视觉和语义对齐。我们的方法以对比方式最大化区域与物体标签之间的兼容性。为了建立合适的对比学习目标，对于每张图像，我们通过利用从CLIP等基础模型获得的正负对的相对性质来增强标签。然后，我们将每个增强标签在列表中的排名作为相对相关性标签，将每个排名靠前的标签与一组排名较低的标签进行对比。这一学习目标鼓励排名靠前的标签比排名较低的标签与其图像和文本上下文更兼容，从而提高了所学多模态表示的判别能力。我们在两个数据集上评估了我们的方法，结果表明，我们提出的RCA-NOC方法以较大优势超越了最先进的方法，证明了其在改进新物体描述的视觉-语言表示方面的有效性。
引用
@article{arxiv.2312.06299,
title = {RCA-NOC: Relative Contrastive Alignment for Novel Object Captioning},
author = {Jiashuo Fan and Yaoyuan Liang and Leyao Liu and Shaolun Huang and Lei Zhang},
journal= {arXiv preprint arXiv:2312.06299},
year = {2023}
}
备注
ICCV2023,10 pages