It's LIT! 可检查工具优化可靠性的大语言模型
机器学习
2025-11-20 v1 软件工程
摘要
大语言模型 (LLM) 在各类领域展现出惊人能力，调用外部工具的能力进一步拓展了其处理现实任务的范围。然而，LLM 常遵循不透明的推理过程，这限制了其在需要解决方案可信且可供最终用户信赖的高风险领域的实用性。LLM 可能选择不可靠且难以排查的解决方案，即便更好的选项也已存在。我们通过迫使 LLM 在可能时使用外部 -- 更可靠 -- 工具来解决问题，从而解决此问题。我们提出一个基于现有 LLM 工具调用能力的框架，使其能够选择最可靠且易于排查的解决方案路径，这可能涉及多个顺序工具调用。我们称该框架为 LIT (LLMs with Inspectable Tools)。为支持 LIT，我们引入一个新型且具有挑战性的基准数据集，包含 1,300 个问题，以及一组可自定义的可靠性成本函数，与一系列专业工具相关联。这些成本函数概括了每个工具的可靠性及其排查难易程度。例如，计算器在各领域都可靠，而线性预测模型若存在分布迁移则不可靠，但易于排查。构建随机森林的工具既不可靠也难以排查。这些工具与哈佛 USPTO 专利数据集和 NeurIPS 2023 论文新数据集交互，以解决难度各异的数学、编码和建模问题。我们展示，使用该框架后，LLM 能够在保持任务性能的同时实现更可靠且有知情感的解决问题。
引用
@article{arxiv.2511.14903,
title = {It's LIT! Reliability-Optimized LLMs with Inspectable Tools},
author = {Ruixin Zhang and Jon Donnelly and Zhicheng Guo and Ghazal Khalighinejad and Haiyang Huang and Alina Jade Barnett and Cynthia Rudin},
journal= {arXiv preprint arXiv:2511.14903},
year = {2025}
}
备注
Accepted to the 39th Conference on Neural Information Processing Systems (NeurIPS 2025) Workshop on Multi-Turn Interactions in Large Language Models