D3：面向视觉问答系统泛化能力的数据多样性设计

系统泛化是智能的关键方面，指通过组合已知子任务和概念来泛化至新任务的能力。已被证明影响系统泛化的一个关键因素是训练数据的多样性。然而，多样性可有多种定义，因为数据具有许多变化因素。目前缺乏对不同数据多样性方面如何影响系统泛化的更细致理解。我们在视觉问答（VQA）问题中给出新证据，表明简单任务（即由少量子任务和概念构成的任务）的多样性在实现系统泛化中起关键作用。这意味着收集大量且多样复杂任务可能并非必要，而后者获取成本高昂。我们证明该结果独立于训练与测试数据间的相似性，并适用于 VQA 中著名的神经网络架构族（即整体式架构与神经模块网络）。此外，我们观察到神经模块网络利用了我们所评估的所有形式的数据多样性，而整体式架构需要更大量的数据才能做到这一点。这些发现为理解数据多样性设计、神经网络架构与系统泛化能力之间的相互作用提供了第一步。