内观：揭示注释内化如何引导 LLM 走向更好或更差
软件工程
2025-12-19 v1
摘要
尽管注释是源代码的非功能性元素，但大语言模型（LLM）经常依赖它们来执行软件工程（SE）任务。然而，这种依赖在模型中的位置及其对性能的影响仍知之甚少。我们首次提出了面向 SE 的概念级可解释性研究，通过注释内部表示的视角分析三个任务——代码补全、代码翻译和代码精炼。使用概念激活向量（CAV），我们表明 LLM 不仅将注释内化为不同的潜在概念，还能区分 Javadoc、内联和多行注释等子类型。通过在 LLM 的嵌入空间中系统地激活和停用这些概念，我们观察到性能发生了显著的、模型相关的和任务相关的变化，范围从 -90% 到 +67%。最后，我们使用同一组代码输入进行了对照实验，提示 LLM 执行 10 种不同的 SE 任务，同时测量其潜在表示中注释概念的激活。我们发现代码摘要始终触发最强的注释概念激活，而代码补全引发的敏感度最弱。这些结果为构建能够推理和操作内部概念表示而非仅依赖表面输入的 SE 工具和模型开辟了新方向。
引用
@article{arxiv.2512.16790,
title = {Inside Out: Uncovering How Comment Internalization Steers LLMs for Better or Worse},
author = {Aaron Imani and Mohammad Moshirpour and Iftekhar Ahmed},
journal= {arXiv preprint arXiv:2512.16790},
year = {2025}
}
备注
Accepted in the 48th IEEE/ACM International Conference on Software Engineering (ICSE)