CodeBert学习了哪些特征：基于BERT的源代码表示学习实证研究
计算与语言
2023-08-14 v2 密码学与安全
机器学习
编程语言
摘要
基于Transformer的双向编码器表示（BERT）在自然语言处理（NLP）中被提出并展现出有前景的结果。近期研究者将BERT应用于源代码表示学习，并在若干下游任务上报告了一些好消息。然而，本文中我们阐明当前方法无法有效理解源代码的逻辑。源代码的表示严重依赖于程序员定义的变量与函数名。我们设计并实现了一系列实验来证明我们的猜想，并为未来工作提供一些见解。
引用
@article{arxiv.2301.08427,
title = {Which Features are Learned by CodeBert: An Empirical Study of the BERT-based Source Code Representation Learning},
author = {Lan Zhang and Chen Cao and Zhilong Wang and Peng Liu},
journal= {arXiv preprint arXiv:2301.08427},
year = {2023}
}
备注
1 table, 2 figures