Pythia v0.1：VQA Challenge 2018 的夺冠方案
计算机视觉与模式识别
2018-07-30 v2
摘要
本文档介绍了 Pythia v0.1，即 Facebook AI Research (FAIR) 的 A-STAR 团队在 VQA Challenge 2018 中的夺冠方案。我们的起点是自底向上自顶向下（up-down）模型的模块化重新实现。我们证明，通过对模型架构和学习率调度做出细微但重要的改动、微调图像特征以及添加数据增强，我们可以显著提升 up-down 模型在 VQA v2.0 数据集上的性能——从 65.67% 提升至 70.22%。此外，通过使用在不同特征上和不同数据集上训练得到的多样化模型集成，我们相比“标准”集成方式（即相同模型不同随机种子）显著提升了 1.31%。总体而言，我们在 VQA v2.0 数据集的 test-std 划分上取得了 72.27% 的成绩。我们的完整代码（训练、评估、数据增强、集成）与预训练模型已公开于：https://github.com/facebookresearch/pythia
引用
@article{arxiv.1807.09956,
title = {Pythia v0.1: the Winning Entry to the VQA Challenge 2018},
author = {Yu Jiang and Vivek Natarajan and Xinlei Chen and Marcus Rohrbach and Dhruv Batra and Devi Parikh},
journal= {arXiv preprint arXiv:1807.09956},
year = {2018}
}