MeNTi:桥接医学计算器与 LLM 智能体的嵌套工具调用
人工智能
2025-05-26 v3 计算与语言
摘要
将工具集成到大语言模型 (LLM) 中已促进了其广泛应用。尽管如此,在专业的下游任务情境中,仅依赖工具仍不足以完全解决现实世界的复杂问题。这尤其限制了 LLM 在医学等领域的有效部署。本文聚焦于医学计算器的下游任务,这些计算器使用标准化测试来评估个体的健康状况。我们引入 MeNTi,一个面向 LLM 的通用智能体架构。MeNTi 集成了专业医学工具箱,并采用 meta-tool 和嵌套调用机制来增强 LLM 的工具利用能力。具体而言,它实现了灵活的工具选择和嵌套工具调用,以解决医学场景中面临的实际问题,包括计算器选择、槽位填充和单位转换。为评估 LLM 在临床计算器情境中进行定量评估的能力,我们引入 CalcQA。该基准由专业医生构建,包含 100 对 case-calculator 配对,配套 281 个医学工具。实验结果显示,我们的框架显著提升了性能。这项研究为将 LLM 应用于医学的高要求场景开辟了新方向。
引用
@article{arxiv.2410.13610,
title = {MeNTi: Bridging Medical Calculator and LLM Agent with Nested Tool Calling},
author = {Yakun Zhu and Shaohang Wei and Xu Wang and Kui Xue and Xiaofan Zhang and Shaoting Zhang},
journal= {arXiv preprint arXiv:2410.13610},
year = {2025}
}
备注
NAACL 2025 main conference. Code and Dataset available at [https://github.com/shzyk/MENTI](https://github.com/shzyk/MENTI)