利用有效课程学习改进数据增强以实现鲁棒的视觉问答
计算机视觉与模式识别
2024-01-30 v1
摘要
数据增强被广泛用于学习无偏视觉问答（VQA）模型，它通过在原始样本之外生成额外训练样本来帮助缓解语言偏差。尽管当今的 DA 方法能够生成鲁棒的样本，但增强后的训练集规模远大于原始数据集，在难度或内容重复方面常表现出冗余，导致模型训练效率低下，甚至损害模型性能。为此，我们设计了一种有效课程学习策略 ECL 以增强基于 DA 的 VQA 方法。直观上，ECL 首先在相对“简单”的样本上训练 VQA 模型，然后逐渐过渡到“更难”的样本，并动态移除价值较低的样本。与在整个增强数据集上训练相比，我们的 ECL 策略能用更少的训练样本进一步提升 VQA 模型的性能。大量的消融实验证明了 ECL 在各种方法上的有效性。
引用
@article{arxiv.2401.15646,
title = {Improving Data Augmentation for Robust Visual Question Answering with Effective Curriculum Learning},
author = {Yuhang Zheng and Zhen Wang and Long Chen},
journal= {arXiv preprint arXiv:2401.15646},
year = {2024}
}