用于视觉问答的广义 Hadamard 乘积融合算子
机器学习
2018-04-09 v2 计算机视觉与模式识别
机器学习
摘要
针对视觉问答（VQA）任务，我们提出了一类广义的多模态融合算子。我们基于 Hadamard 乘积识别了现有融合算子的推广形式，并表明该广义融合算子的特定非平凡实例在 VQA 任务的 OpenEnded 准确率上表现出更优的性能。具体而言，我们引入了非线性集成、特征门控和融合后神经网络层作为融合算子组件，最终在 VQA 2.0 test-dev 集上，相较于使用相同输入特征的基线融合算子，获得了 的绝对百分点提升。我们利用这些发现作为证据表明，当将我们提出的广义融合算子类作为融合算子架构搜索的搜索空间时，可能会发现更优的特定任务算子。
关键词
引用
@article{arxiv.1803.09374,
title = {Generalized Hadamard-Product Fusion Operators for Visual Question Answering},
author = {Brendan Duke and Graham W. Taylor},
journal= {arXiv preprint arXiv:1803.09374},
year = {2018}
}
备注
8 pages, 3 figures. To appear in CRV, 2018, 15th Canadian Conference on Computer and Robot Vision