通过程序员注意力提升代码 LLM 训练
软件工程
2025-04-16 v2 人机交互
机器学习
摘要
Human attention 为 code LLM training 提供了 valuable 且尚未充分利用的 signals，为 code intelligence 提供了一种超越纯粹 machine-driven attention 的视角。尽管收集 eye-tracking 数据的 complexity 和 cost 较高，但目前在 code LLM training 中系统性地利用这些信号的 progress 仍有限。为此，我们提出一个涵盖 augmentation 和 reward-based fine-tuning 的 cohesive pipeline。具体而言，我们引入 (1) eye-tracking path augmentation 方法以扩充 programmer attention 数据集，(2) pattern abstraction 步骤将 raw fixations 细化为 learnable attention motifs，以及 (3) 基于 reward 的策略将这些洞见直接整合到 CodeT5 supervised fine-tuning process 中。我们的实验在 CodeXGlue benchmark 上实现了 CodeBLEU 提升 +7.16，凸显了将 human attention 与 machine attention 结合如何提升 code intelligence。我们希望此工作鼓励更广泛地探索 human-centric 方法于 next-generation AI4SE。
引用
@article{arxiv.2503.14936,
title = {Enhancing Code LLM Training with Programmer Attention},
author = {Yifan Zhang and Chen Huang and Zachary Karas and Dung Thuy Nguyen and Kevin Leach and Yu Huang},
journal= {arXiv preprint arXiv:2503.14936},
year = {2025}
}