DeVLBert：学习去混杂的视觉-语言表示
计算机视觉与模式识别
2020-10-05 v2 计算与语言
摘要
本文中，我们提出研究域外视觉-语言预训练问题，其中预训练数据分布不同于下游数据分布（预训练模型将在该下游数据上微调）。该问题的现有方法纯基于似然，导致虚假相关，并在迁移到域外下游任务时损害泛化能力。所谓虚假相关，是指一个词符（对象或单词）给定另一个词符的条件概率可能很高（由于数据集偏差），而它们之间并无鲁棒（因果）关系。为缓解此类数据集偏差，我们提出去混杂视觉-语言 Bert 框架，简称为 DeVLBert，以执行基于干预的学习。我们借鉴因果研究领域的后门调整思想，并提出若干基于神经网络的 Bert 风格域外预训练架构。在三个下游任务——图像检索（IR）、零样本图像检索和视觉问答——上的定量结果表明，DeVLBert 通过提升泛化能力而有效。
引用
@article{arxiv.2008.06884,
title = {DeVLBert: Learning Deconfounded Visio-Linguistic Representations},
author = {Shengyu Zhang and Tan Jiang and Tan Wang and Kun Kuang and Zhou Zhao and Jianke Zhu and Jin Yu and Hongxia Yang and Fei Wu},
journal= {arXiv preprint arXiv:2008.06884},
year = {2020}
}
备注
10 pages, 4 figures, to appear in ACM MM 2020 proceedings