COCO-Counterfactuals：自动构建的图像-文本对反事实示例
机器学习
2023-11-01 v2 计算与语言
计算机视觉与模式识别
摘要
反事实示例已被证明在自然语言处理（NLP）领域极具价值，可用于评估并提升语言模型对数据集中虚假关联的鲁棒性。尽管其在NLP中的效用已得到证实，但由于难以创建具有最小反事实变化的配对图像-文本数据，多模态反事实示例相对未被探索。为应对这一挑战，我们引入了一种利用文本到图像扩散模型自动生成反事实示例的可扩展框架。我们使用该框架创建了COCO-Counterfactuals，一个基于MS-COCO数据集的配对图像与文本描述的多模态反事实数据集。我们通过人工评估验证了COCO-Counterfactuals的质量，并表明现有多模态模型在我们的反事实图像-文本对上面临挑战。此外，我们展示了COCO-Counterfactuals通过训练数据增强提升多模态视觉-语言模型域外泛化能力的实用性。
引用
@article{arxiv.2309.14356,
title = {COCO-Counterfactuals: Automatically Constructed Counterfactual Examples for Image-Text Pairs},
author = {Tiep Le and Vasudev Lal and Phillip Howard},
journal= {arXiv preprint arXiv:2309.14356},
year = {2023}
}
备注
Accepted to NeurIPS 2023 Datasets and Benchmarks Track