CLIM：用于区域表示的对比语言 - 图像马赛克
计算机视觉与模式识别
2023-12-20 v2
摘要
从大型或开放词汇表中准确检测物体需要在区域表示上实现视觉 - 语言对齐。然而，通过获取带有文本标签或描述的高质量边界框标注来学习这种区域 - 文本对齐既昂贵又不可行。相比之下，收集图像 - 文本对更为简单，但缺乏将区域与文本关联起来的精确物体位置信息。在本文中，我们提出了一种名为对比语言 - 图像马赛克（Contrastive Language-Image Mosaic, CLIM）的新方法，该方法有效利用大规模图像 - 文本对来对齐区域和文本表示。CLIM 将多张图像组合成一张马赛克图像，并将每张图像视为一个“伪区域”。提取每个伪区域的特征，并通过对比损失进行训练，使其与相应的文本嵌入相似而与其他文本嵌入不同，从而使模型能够在无需昂贵边界框标注的情况下学习区域 - 文本对齐。作为一种通用方法，CLIM 持续改进了使用标题监督的不同开放词汇物体检测方法。此外，CLIM 能有效增强视觉 - 语言模型的区域表示，从而为开放词汇物体检测器提供更强大的骨干网络。实验结果表明，CLIM 在 OV-COCO 和 OV-LVIS 基准测试上大幅提升了不同的基线开放词汇物体检测器。代码地址：https://github.com/wusize/CLIM。
引用
@article{arxiv.2312.11376,
title = {CLIM: Contrastive Language-Image Mosaic for Region Representation},
author = {Size Wu and Wenwei Zhang and Lumin Xu and Sheng Jin and Wentao Liu and Chen Change Loy},
journal= {arXiv preprint arXiv:2312.11376},
year = {2023}
}