机器能读懂编程手册了吗？——面向代码理解语言模型构建的基准
计算与语言
2021-09-16 v1 人工智能
摘要
代码理解是人工智能日益重要的应用。理解代码的一个基本方面是理解关于代码的文本，例如文档和论坛讨论。预训练语言模型（如 BERT）是用于各类 NLP 任务的流行方法，现在有各种基准（如 GLUE）来帮助改进此类自然语言理解模型的开发。然而，此类模型在关于代码的文本制品上表现如何知之甚少，并且我们不知道有任何用于此类评估的系统性下游任务集合。在本文中，我们推导了一组基准（BLANCA - 面向代码制品语言模型的基准），其基于诸如预测论坛帖子中问题的最佳答案、查找相关论坛帖子，或从类文档预测层级中相关的类等任务来评估代码理解。我们评估了当前最先进语言模型在这些任务上的性能，并表明通过微调在每个任务上都有显著改进。我们还表明，在 BLANCA 任务上的多任务训练有助于构建更好的代码理解语言模型。
引用
@article{arxiv.2109.07452,
title = {Can Machines Read Coding Manuals Yet? -- A Benchmark for Building Better Language Models for Code Understanding},
author = {Ibrahim Abdelaziz and Julian Dolby and Jamie McCusker and Kavitha Srinivas},
journal= {arXiv preprint arXiv:2109.07452},
year = {2021}
}