数据整理在图像描述生成中的作用
计算机视觉与模式识别
2024-02-05 v2 人工智能
计算与语言
摘要
图像描述生成模型通常平等对待所有样本进行训练,忽视了对不匹配或其他困难数据点的考量。相反,近期工作展示了使用课程学习策略调度数据来训练模型的有效性。本文通过在不增加样本总数的情况下主动整理数据集中的困难样本,推进了这一方向。我们探索了在训练过程中使用三种数据整理方法的效果:完全移除样本、替换描述文本,或通过文本到图像生成模型替换图像。在 Flickr30K 和 COCO 数据集上采用 BLIP 和 BEiT-3 模型的实验表明,这些整理方法确实产生了改进的图像描述生成模型,凸显了其有效性。
引用
@article{arxiv.2305.03610,
title = {The Role of Data Curation in Image Captioning},
author = {Wenyan Li and Jonas F. Lotz and Chen Qiu and Desmond Elliott},
journal= {arXiv preprint arXiv:2305.03610},
year = {2024}
}