面向组合视觉推理的课程学习
计算与语言
2023-03-28 v1 计算机视觉与模式识别
机器学习
摘要
视觉问答（VQA）是一项复杂任务，需要大型数据集和昂贵的训练。神经模块网络（NMN）首先将问题翻译为推理路径，然后沿该路径分析图像并给出答案。我们提出一种 NMN 方法，该方法依赖预定义的跨模态嵌入在 GQA 数据集上“热启动”学习，随后聚焦于课程学习（CL）作为改进训练并更好利用数据的方式。采用若干难度准则来定义 CL 方法。我们表明，通过适当选择 CL 方法，可大幅降低训练成本与训练数据量，而对最终 VQA 精度影响有限。此外，我们在训练中引入中间损失，并发现这可简化 CL 策略。
引用
@article{arxiv.2303.15006,
title = {Curriculum Learning for Compositional Visual Reasoning},
author = {Wafa Aissa and Marin Ferecatu and Michel Crucianu},
journal= {arXiv preprint arXiv:2303.15006},
year = {2023}
}