用于代码解释的选择性样本学习
软件工程
2024-12-18 v1 计算与语言
信息检索
摘要
代码解释在软件工程领域发挥着关键作用，有助于开发者高效掌握代码功能。近期研究表明，LLM 在代码解释任务上的性能在少样本设置下有所提升，尤其是在智能选择少样本示例时。此类选择性样本学习（SSL）的最先进方法包括基于词元和基于嵌入的方法。然而，这些 SSL 方法均在专有 LLM 上进行了评估，鲜少在开源 Code-LLM 上进行探索。此外，这些方法缺乏对编程语言语法的考量。为弥补这些不足，我们提出了一项对比研究，并设计了一种新颖的 SSL 方法（SSL_ner），该方法利用实体信息进行少样本示例选择。我们提出了若干见解，并在两个数据集上证明了 SSL_ner 方法优于现有最先进方法。据我们所知，这是首个针对开源 Code-LLM 的系统性基准测试，同时评估了代码解释任务中各种少样本示例选择方法的性能。
引用
@article{arxiv.2412.12852,
title = {Selective Shot Learning for Code Explanation},
author = {Paheli Bhattacharya and Rishabh Gupta},
journal= {arXiv preprint arXiv:2412.12852},
year = {2024}
}