基于结构诱导 Transformer 的代码摘要生成
计算与语言
2021-06-02 v2
摘要
代码摘要（CS）正成为近期语言理解中有前景的领域，其旨在以源代码形式的编程语言自动生成合理的人类语言描述，以最大程度便利程序员开发。众所周知，编程语言具有高度结构化的特点。因此先前工作尝试应用基于结构的遍历（SBT）或如 Tree-LSTM 与图神经网络（GNN）等非序列模型来学习结构化程序语义。然而令人惊讶的是，将 SBT 融入如 Transformer 这样的先进编码器而非 LSTM 并未显示出性能提升，这使得 GNN 成为在源代码中建模此类必要结构线索的唯一剩余手段。为解除此种不便，我们提出结构诱导 Transformer，其通过新提出的结构诱导自注意力机制以多视角结构线索对顺序代码输入进行编码。大量实验表明，我们提出的结构诱导 Transformer 有助于在基准上取得新的最先进结果。
关键词
引用
@article{arxiv.2012.14710,
title = {Code Summarization with Structure-induced Transformer},
author = {Hongqiu Wu and Hai Zhao and Min Zhang},
journal= {arXiv preprint arXiv:2012.14710},
year = {2021}
}
备注
Findings of ACL2021