关于通过视觉猜谜游戏学习的神经表征泛化能力的实证研究
计算与语言
2021-02-02 v1 计算机视觉与模式识别
机器学习
摘要
猜谜游戏是“通过交互学习”范式的典型实例。本研究考察当人工智能体随后被要求执行诸如视觉问答（VQA）等新颖 NLP 下游任务时，能从玩猜谜游戏中获益多少。我们提出两种利用玩猜谜游戏的方式：1）监督学习场景，其中智能体学习模仿成功的猜谜游戏；2）一种智能体自行游玩的新方式，称为通过迭代经验学习自我对弈（SPIEL）。我们评估了两种过程的泛化能力：域内评估显示，在 CompGuessWhat?! 评估套件上相较竞争对手准确率提升（+7.79）；迁移评估显示，由于在 SPIEL 中学习了更细粒度的物体表征，在 TDIUC 数据集上 VQA 的调和平均准确率有所提高（+5.31）。
引用
@article{arxiv.2102.00424,
title = {An Empirical Study on the Generalization Power of Neural Representations Learned via Visual Guessing Games},
author = {Alessandro Suglia and Yonatan Bisk and Ioannis Konstas and Antonio Vergari and Emanuele Bastianelli and Andrea Vanzo and Oliver Lemon},
journal= {arXiv preprint arXiv:2102.00424},
year = {2021}
}
备注
Accepted paper for the 16th Conference of the European Chapter of the Association for Computational Linguistics (EACL 2021)