SoAy：基于解决方案的 LLM API 使用方法论用于学术信息检索
计算与语言
2025-08-29 v2 人工智能
软件工程
摘要
将大型语言模型 (LLM) 用于学术 API 使用显示出减少研究人员学术信息检索 effort 的前景。然而，当前的 LLM API 使用方法在学术查询中常见的复杂 API 耦合方面困难重拾。为此，我们引入 SoAy，一种用于学术信息检索的 solution-based LLM API 使用方法论。它使用带有 solution 的 code 作为推理方法，其中 solution 是预构建的 API 调用序列。solution 的添加降低了模型理解复杂 API 之间关系的难度。Code 改进了推理效率。为评估 SoAy，我们引入 SoAyBench，一个基于 AMiner API 克隆环境构建的评估基准，伴随 SoAyEval。实验结果表明，与基于 LLM API 的最先进基线相比，SoAy 实现了 34.58%-75.99% 的性能提升。所有数据集、代码、调谐模型以及在线部署服务均可公开访问于 https://github.com/RUCKBReasoning/SoAy。
引用
@article{arxiv.2405.15165,
title = {SoAy: A Solution-based LLM API-using Methodology for Academic Information Seeking},
author = {Yuanchun Wang and Jifan Yu and Zijun Yao and Jing Zhang and Yuyang Xie and Shangqing Tu and Yiyang Fu and Youhe Feng and Jinkai Zhang and Jingyao Zhang and Bowen Huang and Yuanyao Li and Huihui Yuan and Lei Hou and Juanzi Li and Jie Tang},
journal= {arXiv preprint arXiv:2405.15165},
year = {2025}
}
备注
KDD 2025; 22 pages, 13 figures