通过可靠性对齐减少工具幻觉
计算与语言
2025-05-30 v3
摘要
大型语言模型（LLMs）的能力已超越语言生成，扩展到与外部工具交互，从而实现自动化及现实世界应用。然而，工具幻觉——即模型选择不当工具或误用工具——带来了重大挑战，导致任务执行错误、计算成本增加和系统可靠性降低。为系统性地解决此问题，我们将工具幻觉定义并分类为两种主要类型：工具选择幻觉和工具使用幻觉。为评估和缓解这些问题，我们引入了 RelyToolBench，它集成了专门的测试用例和新颖的度量标准，以评估幻觉感知的任务成功率和效率。最后，我们提出了 Relign，一个可靠性对齐框架，该框架扩展了工具使用的动作空间，纳入犹豫不决的动作，允许 LLM 推迟工具使用、寻求澄清或动态调整工具选择。通过大量实验，我们证明 Relign 显著减少了工具幻觉，提高了任务可靠性，并增强了 LLM 工具交互的效率。
引用
@article{arxiv.2412.04141,
title = {Reducing Tool Hallucination via Reliability Alignment},
author = {Hongshen Xu and Zichen Zhu and Lei Pan and Zihan Wang and Su Zhu and Da Ma and Ruisheng Cao and Lu Chen and Kai Yu},
journal= {arXiv preprint arXiv:2412.04141},
year = {2025}
}