语言模型在语法代码完成中的机械解释
软件工程
2025-02-27 v1 人工智能
计算与语言
摘要
最近，语言模型在代码生成任务中展现了惊人的能力，尤其是在针对代码数据集进行微调后，常称为代码语言模型（Code LMs）。然而，我们对代码语言模型内部决策过程的理解仍然有限，例如它们如何使用（语法或语义）知识，这可能导致在实际应用中产生意外的风险。这促使我们开展首个机械可解释性工作之一，用以理解代码语言模型如何执行语法完成任务，具体针对CodeLlama-7b模型（Roziere等，2023）。我们的发现表明，模型需要直到中后期层才能自信地预测闭合括号任务的正确标签。此外，我们识别出虽然多头注意力（MHA）和前馈（FF）子层在关键作用，但MHA尤为重要。我们还发现注意力头能够精确跟踪已关闭括号的数量，但可能或不一定促进仍需缺失的正确数量的闭合括号，从而对模型性能产生正面或负面影响。
引用
@article{arxiv.2502.18499,
title = {Mechanistic Understanding of Language Models in Syntactic Code Completion},
author = {Samuel Miller and Daking Rai and Ziyu Yao},
journal= {arXiv preprint arXiv:2502.18499},
year = {2025}
}
备注
10 pages, 4 figures, accepted to the AAAI 2025 Workshop on Towards Knowledgeable Foundation Models