TTPA：基于细粒度评估的词元级工具使用偏好对齐训练框架
计算与语言
2025-05-27 v1
摘要
现有的工具学习方法通常依赖监督微调，往往忽视了对内部工具调用细节的细粒度优化，导致在偏好对齐和错误判别方面存在局限。为克服这些挑战，我们提出了词元级工具使用偏好对齐训练框架（TTPA），这是一种构建词元级工具使用偏好数据集的训练范式，通过一种新颖的面向错误的打分机制使LLM对齐细粒度偏好。TTPA首先引入了逆向数据集构建，这是一种通过逆转生成流程来创建高质量、多轮工具使用数据集的方法。此外，我们提出词元级偏好采样（TPS），通过建模生成过程中的词元级差异来捕捉细粒度偏好。为解决打分中的偏差，我们引入了面向错误的打分机制（ESM），该机制量化工具调用错误并可用作训练信号。在三个不同的基准数据集上的广泛实验表明，TTPA显著提升了工具使用性能，并在不同模型和数据集上展现出强大的泛化能力。
引用
@article{arxiv.2505.20016,
title = {TTPA: Token-level Tool-use Preference Alignment Training Framework with Fine-grained Evaluation},
author = {Chengrui Huang and Shen Gao and Zhengliang Shi and Dongsheng Wang and Shuo Shang},
journal= {arXiv preprint arXiv:2505.20016},
year = {2025}
}
备注
16 pages, 5 figures