增强大语言模型的鲁棒性：提示以减轻无关信息的影响
计算与语言
2025-05-26 v2
摘要
近年来，大语言模型（LLMs）因其在复杂推理任务中的卓越表现而受到广泛关注。然而，最近的研究表明，即使使用先进的提示技术，当问题描述中包含无关信息时，LLMs的推理能力也会显著下降。为了进一步研究这个问题，我们构建了一个包含无关信息的小学数学问题数据集，命名为GSMIR。在该数据集上测试了著名的LLMs和提示技术，结果表明，虽然LLMs能够识别无关信息，但一旦识别出来，它们并不能有效地减轻其造成的干扰。为了解决这一缺陷，我们提出了一种新颖的自动构建方法ATF，该方法增强了LLMs识别并自我减轻无关信息影响的能力。该方法分两步进行：首先分析无关信息，然后进行过滤。实验表明，即使在GSMIR数据集上存在无关信息的情况下，ATF方法也能显著提高LLMs和提示技术的推理性能。
引用
@article{arxiv.2408.10615,
title = {Enhancing Robustness in Large Language Models: Prompting for Mitigating the Impact of Irrelevant Information},
author = {Ming Jiang and Tingting Huang and Biao Guo and Yao Lu and Feng Zhang},
journal= {arXiv preprint arXiv:2408.10615},
year = {2025}
}