注意力的自然性：重新审视代码语言模型中的注意力机制
软件工程
2023-11-23 v1 机器学习
摘要
诸如 CodeBERT 之类的代码语言模型能够学习高级源代码表示，但其不透明性对理解所捕获的属性造成了障碍。近期的注意力分析研究仅关注注意力权重而非 Transformer 更宽泛的上下文建模，提供了初步的可解释性见解。本研究旨在阐明先前被忽视的注意力机制因素（超出注意力权重之外）。我们开展了一项初步实证研究，分析 CodeBERT 中的注意力分布与变换后表示。在 Java 和 Python 两种编程语言中，我们发现相比单独的注意力权重，输入的缩放变换范数能更好地捕获句法结构。我们的分析揭示了 CodeBERT 如何嵌入句法代码属性的特征。这些发现证明了在严格理解神经代码模型时，纳入超出注意力权重因素的重要性。这为开发更具可解释性的模型及在程序分析中有效使用注意力机制奠定了基础。
引用
@article{arxiv.2311.13508,
title = {Naturalness of Attention: Revisiting Attention in Code Language Models},
author = {Mootez Saad and Tushar Sharma},
journal= {arXiv preprint arXiv:2311.13508},
year = {2023}
}
备注
Accepted at ICSE-NIER (2024) track