自然语言推理中的理由有多模糊?一种处理理由不确定性的简单方法
计算与语言
2025-03-05 v3 机器学习
摘要
理由的质量对于语言模型的推理能力至关重要。理由不仅能提升复杂自然语言任务中的推理性能,还能为模型决策提供依据。然而,获取完美无缺的理由往往是不可能的。本研究旨在探究模糊的理由如何在自然语言推理的模型性能中发挥作用。我们首先通过模型先验信念中的熵和不确定性视角评估理由的模糊性,并探索其对任务性能的影响。随后,我们提出了一种简单的方法,根据理由的模糊性引导模型在两种不同的推理路径之间进行选择。实证结果表明,该方法能带来稳健的性能,特别是在理由质量不一致的对抗性场景中。
引用
@article{arxiv.2402.14337,
title = {How Ambiguous Are the Rationales for Natural Language Reasoning? A Simple Approach to Handling Rationale Uncertainty},
author = {Hazel H. Kim},
journal= {arXiv preprint arXiv:2402.14337},
year = {2025}
}
备注
Accepted to COLING2025