DREAM:通过先细化情境来改进情境问答
计算与语言
2022-05-06 v3 人工智能
摘要
当人们回答关于特定情境的问题时,例如“我上周期中考试作弊了。那错了吗?”,认知科学表明他们会在回答前先在脑海中形成该情境的心理图景。虽然我们不知道语言模型(LMs)是如何回答此类问题的,但我们推测,如果为它们提供关于问题情境的更多细节、对“场景”进行细化,它们可能会回答得更准确。为验证这一推测,我们训练了一个新模型 DREAM,用于回答那些对情境问题所涉及的场景进行细化的问题,然后将这些细化内容作为额外上下文提供给一个问答(QA)模型。我们发现,DREAM 能够比一个有代表性的最先进的零样本模型(Macaw)创造出更好的场景细化(更准确、有用且一致)。我们还发现,将场景细化作为额外上下文可提高下游 QA 系统的答案准确率,甚至超过仅用 DREAM 的训练数据进一步微调 QA 系统所能达到的准确率。这些结果表明,添加针对情境的细化内容可改进系统对该情境的推理,并可作为向 QA 模型注入新的基于场景的知识的有效方式。最后,我们的方法是数据集无关的;我们观察到不同模型上的 QA 性能均有提升,在参数更少的模型上提升幅度更大。我们在 https://github.com/allenai/dream 公开了数据集和模型。
引用
@article{arxiv.2112.08656,
title = {DREAM: Improving Situational QA by First Elaborating the Situation},
author = {Yuling Gu and Bhavana Dalvi Mishra and Peter Clark},
journal= {arXiv preprint arXiv:2112.08656},
year = {2022}
}
备注
to be published in NAACL 2022