数据集与现实：从信息需求视角理解模型性能

深度学习技术已为我们带来许多在少数基准上超越人类的模型。一个有趣的问题是：这些模型能否很好地解决与基准数据集设置相似（例如，相同的输入/输出）的现实世界问题？我们认为，模型被训练来回答创建训练数据集时所针对的同一信息需求。尽管某些数据集可能具有高度的结构相似性，例如用于问答（QA）任务的问答对和用于图像描述（IC）任务的图像-描述对，它们可能代表旨在回答不同信息需求的不同研究任务。为支持我们的论点，我们以 QA 任务和 IC 任务作为两个案例研究，比较它们广泛使用的基准数据集。从信息检索语境下的信息需求视角，我们展示了数据集创建过程的差异，以及数据集之间形态句法属性的差异。这些数据集中的差异可归因于特定研究任务的不同信息需求。我们鼓励所有研究者在利用数据集训练模型之前，从研究任务的信息需求视角出发进行考量。同样，在创建数据集时，研究者也可将信息需求视角作为决定数据集在多大程度上准确反映其旨在解决的研究任务的一个因素。