AstBERT：利用抽象语法树实现面向金融代码理解的语言模型
人工智能
2022-10-12 v4 机器学习
摘要
利用预训练语言模型理解源代码因其在揭示金融风险方面的巨大潜力而受到金融机构越来越多的关注。然而，直接应用这些语言模型来解决与编程语言相关的问题存在若干挑战。例如，自然语言（NL）与编程语言（PL）之间的领域知识迁移需要从不同角度理解数据的语义与句法信息。为此，我们提出了 AstBERT 模型，一种旨在利用抽象语法树（AST）更好地理解金融代码的预训练 PL 模型。具体而言，我们从支付宝代码仓库收集了大量源代码（包括 Java 和 Python），并借助代码解析器将句法与语义代码知识融入模型，其中源代码的 AST 信息可被解析并整合。我们在三项任务上评估了所提模型的性能，包括代码问答、代码克隆检测和代码精化。实验结果表明，我们的 AstBERT 在三个不同的下游任务上取得了令人满意的性能。
引用
@article{arxiv.2201.07984,
title = {AstBERT: Enabling Language Model for Financial Code Understanding with Abstract Syntax Trees},
author = {Rong Liang and Tiehua Zhang and Yujie Lu and Yuze Liu and Zhen Huang and Xin Chen},
journal= {arXiv preprint arXiv:2201.07984},
year = {2022}
}