一种用于源代码极端摘要的卷积注意力网络
机器学习
2016-05-26 v2 计算与语言
软件工程
摘要
神经网络中的注意力机制已被证明对输入输出维度不固定的问题有用。通常存在局部平移不变的特征，它们对于引导模型注意力很有价值，但先前的注意力架构并未专门构建以学习此类特征。我们引入一种注意力神经网络，其在输入令牌（tokens）上采用卷积，以依赖上下文的方式检测局部时间不变与长距离主题注意力特征。我们将该架构应用于将源代码片段极端摘要为简短、具描述性的类函数名摘要的问题。利用这些特征，模型通过边缘化两种注意力机制来顺序生成摘要：一种基于输入令牌的注意力权重预测下一个摘要令牌，另一种能够将代码令牌原样直接复制到摘要中。我们在10个流行的Java项目上展示了我们的卷积注意力神经网络的性能，表明其相比先前的注意力机制取得了更优性能。
引用
@article{arxiv.1602.03001,
title = {A Convolutional Attention Network for Extreme Summarization of Source Code},
author = {Miltiadis Allamanis and Hao Peng and Charles Sutton},
journal= {arXiv preprint arXiv:1602.03001},
year = {2016}
}
备注
Code, data and visualization at http://groups.inf.ed.ac.uk/cup/codeattention/