通过语言调制早期视觉处理
计算机视觉与模式识别
2017-12-20 v3 计算与语言
机器学习
摘要
通常认为语言指代高层视觉概念，而不影响低层视觉处理。这一观点主导了当前语言-视觉任务计算模型的文献，其中视觉与语言输入大多在被融合为单一表示之前独立处理。在本文中，我们偏离这一经典流程，并提出通过语言输入来调制\emph{整个视觉处理}。具体而言，我们将预训练残差网络（ResNet）的批归一化参数以语言嵌入为条件。我们将此方法称为 MOdulated RESnet (\MRN)，它在两个视觉问答任务上显著提升了强基线。我们的消融研究表明，从视觉处理的早期阶段进行调制是有益的。
引用
@article{arxiv.1707.00683,
title = {Modulating early visual processing by language},
author = {Harm de Vries and Florian Strub and Jérémie Mary and Hugo Larochelle and Olivier Pietquin and Aaron Courville},
journal= {arXiv preprint arXiv:1707.00683},
year = {2017}
}
备注
Advances in Neural Information Processing Systems 30 (NIPS 2017)