人类规则是否必要？利用思维链推理和上下文学习生成可复用API
软件工程
2024-05-07 v1
摘要
受大语言模型（LLM）在解决复杂编码任务方面巨大潜力的启发，本文提出了一种名为Code2API的新方法，用于自动对Stack Overflow代码片段进行API化。Code2API不需要额外的模型训练或任何手工制定的规则，可以轻松部署在个人计算机上，无需依赖其他外部工具。具体来说，Code2API通过精心设计的提示引导LLM为给定的代码片段生成格式良好的API。为了从LLM中激发知识和逻辑推理，我们使用了思维链（CoT）推理和少样本上下文学习，这有助于LLM充分理解API化任务，并以类似于开发者的方式逐步解决它。我们的评估表明，Code2API在识别方法参数（65%）和返回语句（66%）方面达到了与人工生成相当的显著准确率，分别比当前最先进的方法APIzator高出15.0%和16.5%。此外，与APIzator相比，我们的用户研究表明，Code2API在生成有意义的函数名方面表现出更优的性能，甚至超过了人类水平，并且开发者更愿意使用我们方法生成的API，这突显了我们的工具在实践中的适用性。最后，我们成功地将我们的框架扩展到Python数据集，取得了与Java相当的性能，这验证了我们工具的泛化能力。
引用
@article{arxiv.2405.03509,
title = {Are Human Rules Necessary? Generating Reusable APIs with CoT Reasoning and In-Context Learning},
author = {Yubo Mai and Zhipeng Gao and Xing Hu and Lingfeng Bao and Yu Liu and Jianling Sun},
journal= {arXiv preprint arXiv:2405.03509},
year = {2024}
}