通过提问进行学习
计算机视觉与模式识别
2017-12-05 v1 计算与语言
机器学习
摘要
我们提出了一种用于开发和测试智能视觉系统的交互式学习框架，称为通过提问学习（Learning-by-Asking，LBA）。我们在视觉问答（Visual Question Answering，VQA）任务的背景下探索 LBA。LBA 不同于标准的 VQA 训练，因为在训练时大多数问题不会被观察到，学习者必须提出它想要获得答案的问题。因此，LBA 更接近于自然学习，并且比传统 VQA 设定具有更高的数据效率潜力。我们提出了一个在 CLEVR 数据集上执行 LBA 的模型，并表明它在与 oracle 交互学习时自动发现了从易到难的课程。我们的 LBA 生成的数据始终匹配或优于 CLEVR 训练数据，并且具有更高的样本效率。我们还表明，我们的模型提出的问题能够泛化到最先进的 VQA 模型以及新的测试时分布。
引用
@article{arxiv.1712.01238,
title = {Learning by Asking Questions},
author = {Ishan Misra and Ross Girshick and Rob Fergus and Martial Hebert and Abhinav Gupta and Laurens van der Maaten},
journal= {arXiv preprint arXiv:1712.01238},
year = {2017}
}