时间常识推理与获取综述

时间常识推理指理解短语、动作和事件的典型时间上下文,并利用它推理需要此类知识的问题的能力。该特质在时间自然语言处理任务中至关重要,可能的应用包括时间线摘要、时间问答和时间自然语言推理。近期关于大语言模型性能的研究表明,尽管它们擅长生成句法正确的句子和解决分类任务,但常在推理中走捷径并落入简单的语言陷阱。本文综述时间常识推理领域的研究,特别关注通过多种增强手段提升语言模型性能及其在日益增长的数据集上的评估。然而,这些增强模型仍难以在时间常识属性(如事件的典型发生时间、顺序或持续时间)的推理任务上接近人类表现。我们进一步强调,鉴于 transformer 中存在的浅层推理,需要谨慎解读研究,以防对评估结果过度承诺。这可通过恰当准备数据集和合适的评估指标来实现。