面向仓库级代码生成的强弱模型协作实证研究
人工智能
2025-05-27 v1 软件工程
摘要
我们研究了用于仓库级代码生成的强弱语言模型之间的高性价比协作，其中弱模型以较低成本处理较简单的任务，而最具挑战性的任务则委托给强模型。尽管许多工作提出了用于此任务的架构，但很少有工作分析相对于成本的性能。我们在 GitHub issue 解决上评估了广泛的协作策略：基于上下文的、基于流水线的和动态的协作策略。我们最有效的协作策略实现了与强模型相当的性能，同时将成本降低了 40%。基于我们的发现，我们提供了在不同预算和性能约束下选择协作策略的可操作指南。我们的结果表明，强弱协作以极小部分的成本大幅提升了弱模型的性能，其中流水线和基于上下文的方法最为高效。我们在 https://github.com/shubhamrgandhi/codegen-strong-weak-collab 发布了本工作的代码。
引用
@article{arxiv.2505.20182,
title = {An Empirical Study on Strong-Weak Model Collaboration for Repo-level Code Generation},
author = {Shubham Gandhi and Atharva Naik and Yiqing Xie and Carolyn Rose},
journal= {arXiv preprint arXiv:2505.20182},
year = {2025}
}