NLVR2 视觉偏差分析
计算与语言
2019-09-24 v1 计算机视觉与模式识别
摘要
NLVR2（Suhr 等，2019）旨在通过数据收集过程对语言偏差保持稳健，该过程使每个自然语言句子同时出现真和假标签。该过程未对视觉偏差提供类似的控制措施。本技术报告分析了 NLVR2 中视觉偏差的潜在可能。我们表明可能存在一定程度的视觉偏差。最后，我们确定了测试数据的一个子集，能够以对这些潜在偏差稳健的方式测试模型性能。我们表明现有模型（Li 等，2019；Tan 和 Bansal 2019）对此潜在偏差相对稳健。我们提议将该数据子集上的评估加入 NLVR2 评估协议，并更新官方发布版本以包含它。包含用于复现此分析的代码实现的笔记本可在 http://nlvr.ai/NLVR2BiasAnalysis.html 获取。
引用
@article{arxiv.1909.10411,
title = {NLVR2 Visual Bias Analysis},
author = {Alane Suhr and Yoav Artzi},
journal= {arXiv preprint arXiv:1909.10411},
year = {2019}
}
备注
Corresponding notebook available at http://lil.nlp.cornell.edu/nlvr/NLVR2BiasAnalysis.html