通过量纲感知增强大语言模型的定量推理能力
计算与语言
2024-01-01 v1 人工智能
机器学习
摘要
量是文本中独特且关键的组成部分，用于表征实体的幅度属性，为理解自然语言提供了精确的视角，尤其是对于推理任务而言。近年来，基于大语言模型（LLMs）的推理任务研究层出不穷，其中大多数仅关注数值，却忽视了带有单位的量的量纲概念的重要性。我们认为，量纲概念对于精确理解量至关重要，对 LLMs 执行定量推理具有重要意义。然而，量纲知识的缺乏和相关基准的缺失导致 LLMs 性能低下。因此，我们提出了一种基于量纲感知的框架，以增强语言模型的定量推理能力。我们首先构建了一个量纲单位知识库（DimUnitKB）以填补该领域的知识空白。我们提出了一个名为 DimEval 的基准，包含三类共七个任务，以探测和增强 LLMs 的量纲感知技能。为了评估我们方法的有效性，我们提出了一项定量推理任务并进行了实验。实验结果表明，与 GPT-4 相比，我们的量纲感知方法在定量推理任务上显著提高了准确率（从 43.55% 提升至 50.67%）。
引用
@article{arxiv.2312.17532,
title = {Enhancing Quantitative Reasoning Skills of Large Language Models through Dimension Perception},
author = {Yuncheng Huang and Qianyu He and Jiaqing Liang and Sihang Jiang and Yanghua Xiao and Yunwen Chen},
journal= {arXiv preprint arXiv:2312.17532},
year = {2024}
}
备注
Accepted in the 40th IEEE International Conference on Data Engineering (ICDE 2024)