利用大语言模型进行 API 交互：分类与合成数据生成框架
计算与语言
2024-09-19 v1
摘要
随着大语言模型（LLMs）在自然语言处理方面的进步，越来越多的人关注利用其能力来简化软件交互。本文提出了一种新型系统，将 LLMs 集成用于将自然语言输入分类为对应的 API 调用，以及自动创建针对特定 API 功能的样本数据集。通过将自然语言命令分类，您的系统允许用户通过简单输入调用复杂的软件功能，从而提高交互效率并降低软件利用的门槛。我们的数据生成方法还支持高效且系统化地评估不同 LLMs 在 API 调用分类方面的性能，为开发人员或企业所有者提供了实用的工具，以评估 LLMs 是否适用于定制的 API 管理。我们针对几个主流 LLMs 使用生成的样本数据集进行了实验。结果显示，GPT-4 在分类准确率上达到 0.996，而 LLaMA-3-8B 性能较差，仅为 0.759。这些发现凸显了 LLMs 在 API 管理中的潜力，验证了我们系统在引导模型测试和选型方面的有效性。
引用
@article{arxiv.2409.11703,
title = {Harnessing LLMs for API Interactions: A Framework for Classification and Synthetic Data Generation},
author = {Chunliang Tao and Xiaojing Fan and Yahe Yang},
journal= {arXiv preprint arXiv:2409.11703},
year = {2024}
}