CLOSURE：评估 CLEVR 模型的系统性泛化能力
人工智能
2020-10-20 v2 机器学习
摘要
关于 3D 渲染场景的天然外观问题的 CLEVR 数据集近来受到研究界的诸多关注。针对该任务已提出若干模型，其中许多达到了约 97-99% 的很高准确率。在这项工作中，我们研究此类模型的泛化在多大程度上是系统性的，即它们在处理已知语言构件的全新组合方面的能力。为此，我们在新颖语境下测试模型对基于匹配物体属性（例如“与棕色立方体大小相同的另一个立方体”）的指称表达式的理解。我们在由此构建的 CLOSURE 基准上的实验表明，最先进模型在 CLEVR 上训练后往往不表现出系统性。令人惊讶的是，我们发现一个显式组合式的神经模块网络（Neural Module Network）模型在 CLOSURE 上也泛化很差，即便它在测试时可访问真实程序。我们通过开发具有向量值输入与输出的新型 Vector-NMN 模块架构改进了 NMN 的系统性泛化。最后，我们研究了少样本迁移学习能在多大程度上帮助在 CLEVR 上预训练的模型适应 CLOSURE。我们的少样本学习实验对比了具有中间离散程序的模型与端到端连续模型的适应行为。
引用
@article{arxiv.1912.05783,
title = {CLOSURE: Assessing Systematic Generalization of CLEVR Models},
author = {Dzmitry Bahdanau and Harm de Vries and Timothy J. O'Donnell and Shikhar Murty and Philippe Beaudoin and Yoshua Bengio and Aaron Courville},
journal= {arXiv preprint arXiv:1912.05783},
year = {2020}
}
备注
Technical report