LibRec：用于图书馆迁移推荐的检索增强型 LLM 基准测试框架
软件工程
2025-08-14 v1 人工智能
摘要
本文提出了 LibRec，一种新型框架，将 LLM 的能力与检索增强生成（RAG）技术相结合，用于自动化推荐替代性图书馆。该框架进一步采用情境学习从提交消息中提取迁移意图，以提高推荐的准确性。为评估 LibRec 的有效性，我们引入了 LibEval——一个专为评估图书馆迁移推荐任务而设计的基准测试。LibEval 包含 2,888 条迁移记录，涉及 2,368 个图书馆，源自 2,324 个 Python 仓库。每条迁移记录包含源-目标图书馆对，以及相应的迁移意图及意图类型。基于 LibEval，我们在框架中评估了十个流行的 LLM，进行了关于框架关键组件贡献的消融研究，探讨了各种提示策略对框架性能的影响，评估了其在不同意图类型下的有效性，并进行了详细的错误案例分析。
引用
@article{arxiv.2508.09791,
title = {LibRec: Benchmarking Retrieval-Augmented LLMs for Library Migration Recommendations},
author = {Junxiao Han and Yarong Wang and Xiaodong Gu and Cuiyun Gao and Yao Wan and Song Han and David Lo and Shuiguang Deng},
journal= {arXiv preprint arXiv:2508.09791},
year = {2025}
}