EyeLayer：将人类注意力模式集成到基于 LLM 的代码摘要中
软件工程
2026-02-27 v1 人工智能
摘要
代码摘要是生成源代码的自然语言描述的任务，这对于软件的理解和维护至关重要。虽然大型语言模型（LLM）在该任务上取得了显著进展，但仍有一个开放问题：人类在代码理解方面的专业知识能否进一步指导并增强这些模型？我们提出了 EyeLayer，一个轻量级注意力增强模块，将人类眼动模式（作为人类专业知识的代理）集成到基于 LLM 的代码摘要中。EyeLayer 通过多模态高斯混合模型模拟人类在阅读代码时的注意力，将 token 嵌入重新分配给基于学习参数（μ_i, σ_i^2）捕获开发人员聚焦位置和强度的注意力。这种设计使我们能够从眼动数据中学习可泛化的注意力先验，并无需干扰现有表示方式地将其无缝集成到 LLM 中。我们在覆盖不同规模和体系结构的多个模型家族（即 LLaMA-3.2、Qwen3 和 CodeBERT）上评估了 EyeLayer。在标准指标上，EyeLayer 始终超过强大的微调基线，BLEU-4 提升最高可达 13.17%。这些结果表明，人类注视模式编码了增强 LLM 语义聚焦的补充注意力信号，并且在代码摘要中对 diverse 模型具有有效迁移能力。
引用
@article{arxiv.2602.22368,
title = {EyeLayer: Integrating Human Attention Patterns into LLM-Based Code Summarization},
author = {Jiahao Zhang and Yifan Zhang and Kevin Leach and Yu Huang},
journal= {arXiv preprint arXiv:2602.22368},
year = {2026}
}
备注
Accepted at the 34th IEEE/ACM International Conference on Program Comprehension (ICPC 2026), April 12-13, 2026, Rio de Janeiro, Brazil