面向代码预训练模型的结构感知微调

在过去几年中，我们见证了代码预训练模型（CodePTMs）的显著进步。这些模型通过为代码设计基于结构的预训练任务，实现了出色的表示能力。然而，如何在微调代码预训练模型时增强对结构知识的吸收仍然是一个重大挑战。为填补这一空白，在本文中，我们提出了结构感知微调（SAT），一种新颖的结构增强且即插即用的代码预训练模型微调方法。我们首先提出一个结构损失，用于量化代码预训练模型学习到的信息与从代码结构中提取的知识之间的差异。具体来说，我们使用从Transformer层提取的注意力分数作为学习到的结构信息，并使用抽象语法树中叶子节点之间的最短路径长度作为结构知识。随后，引入多任务学习以提高微调性能。在四个预训练模型和两个生成任务上进行的实验证明了我们提出的方法作为一种即插即用解决方案的有效性。此外，我们观察到，在训练数据有限的情况下，SAT能更有效地帮助代码预训练模型。