FT2Ra：一种受微调启发的检索增强代码补全方法
软件工程
2024-04-03 v1
摘要
代码预训练模型的兴起显著增强了各种编码任务，如代码补全和GitHub Copilot等工具。然而，这些模型（尤其是大型模型）的巨大规模给针对特定下游任务进行微调带来了重大挑战。作为替代方法，检索增强方法已成为一种有前景的解决方案，无需微调即可增强模型预测。尽管有潜力，但一个重大挑战是这些方法的设计通常依赖于启发式方法，留下了关键问题：应该存储或检索什么信息，以及如何插值这些信息以增强预测。为应对这一挑战，我们首先对微调过程进行理论分析，强调delta logits作为改进模型预测催化剂的重要性。基于这一见解，我们开发了一种新颖的检索增强方法FT2Ra，旨在模仿真正的微调。虽然FT2Ra采用检索增强机制，但它独特地采用了具有学习率和多轮检索的范式，类似于微调。在token级补全（相对较容易的任务）中，与UniXcoder上的最佳基线方法相比，FT2Ra的准确率提高了4.29%。在更具挑战性的行级补全任务中，我们观察到精确匹配（EM）性能显著提高超过两倍，表明我们理论分析的显著优势。值得注意的是，即使在没有实际微调的情况下运行，FT2Ra也表现出与真正微调模型相竞争的性能。
引用
@article{arxiv.2404.01554,
title = {FT2Ra: A Fine-Tuning-Inspired Approach to Retrieval-Augmented Code Completion},
author = {Qi Guo and Xiaohong Li and Xiaofei Xie and Shangqing Liu and Ze Tang and Ruitao Feng and Junjie Wang and Jidong Ge and Lei Bu},
journal= {arXiv preprint arXiv:2404.01554},
year = {2024}
}
备注
ISSTA 2024