CATP-LLM：面向成本感知工具规划的大语言模型
人工智能
2025-07-15 v3 机器学习
摘要
利用大语言模型（LLMs）进行工具规划已成为开发通用 AI 系统的有前景的方向，其中 LLMs 自动根据任务描述安排外部工具（如视觉模型）以解决复杂任务。为将这一范式推向实际应用，关键在于让 LLMs 在工具规划中考虑工具执行成本（如执行时间）。不幸的是，现有研究忽略了工具执行成本，导致生成成本高昂的计划，其成本超过任务性能收益。为填补这一空白，我们提出了面向 LLMs 的成本感知工具规划框架（CATP-LLM），该框架首次为 LLMs 提供了一致的设计以实现成本感知工具规划。具体而言，为 facilitate 高效的并行工具执行和成本降低，我们设计了一种工具规划语言，以增强 LLM 创建多分支非顺序计划的能力。此外，我们提出了一种成本感知离线强化学习算法，用于微调 LLM 以优化工具规划中的性能成本权衡。在缺乏公开成本相关数据集的背景下，我们进一步提出了 OpenCATP，即首个用于成本感知规划的数据集，包含 11,100 条评估样本来自 diverse 任务。大量实验表明，CATP-LLM 在计划质量方面显著优于 GPT-4，即使使用 Llama2-7B 作为其 backbone，平均提升幅度为 1.5%至 93.9%。代码和数据集均可在 https://github.com/duowuyms/OpenCATP-LLM 获取。
引用
@article{arxiv.2411.16313,
title = {CATP-LLM: Empowering Large Language Models for Cost-Aware Tool Planning},
author = {Duo Wu and Jinghe Wang and Yuan Meng and Yanning Zhang and Le Sun and Zhi Wang},
journal= {arXiv preprint arXiv:2411.16313},
year = {2025}
}
备注
Accepted to ICCV 2025. Codes and dataset are available at: https://github.com/duowuyms/OpenCATP-LLM