HNC：利用困难负向标题构建具有细粒度视觉-语言理解能力的模型
计算与语言
2026-05-08 v1 人工智能
计算机视觉与模式识别
摘要
图文匹配（ITM）是从视觉与语言（VL）大规模语料库中学习泛化表示的事实标准方法之一。然而，由于网络收集的图文对之间关联较弱，模型无法表现出对这些模态组合语义的细粒度理解。为了解决这个问题，我们提出了困难负向标题（HNC）：一个自动创建的数据集，包含用于 ITM 训练的替换式困难负向标题，旨在实现 VL 中细粒度的跨模态理解。此外，我们提供了一个具有挑战性的人工创建的测试集，用于在具有不同组合复杂度级别的细粒度跨模态失配任务上对模型进行基准测试。我们的结果表明，在 HNC 上进行训练可提高模型在诊断任务中检测失配的零样本能力，并在噪声视觉输入场景下表现鲁棒。同时，我们证明 HNC 模型为微调提供了相当或更好的初始化。
关键词
引用
@article{arxiv.2605.06157,
title = {HNC: Leveraging Hard Negative Captions towards Models with Fine-Grained Visual-Linguistic Comprehension Capabilities},
author = {Esra Dönmez and Pascal Tilli and Hsiu-Yu Yang and Thang Vu and Carina Silberer},
journal= {arXiv preprint arXiv:2605.06157},
year = {2026}
}