代码语言模型能否学习澄清寻求行为？
软件工程
2025-09-29 v2 机器学习
摘要
大型语言模型（LLM）在代码生成任务中展现出惊人的能力，但其输出与人类开发者的解决策略之间仍存在差距。不同于人类会通过迭代对话消除需求模糊性，LLM往往在自然语言需求存在歧义时仍生成代码，从而导致不可靠的解决方案。与 prior work 不同，本文研究代码LLM能否被微调以学习澄清寻求行为。虽然 recent work 关注LLM-based代理用于迭代代码生成，但我们认为识别和查询模糊需求的能力应是模型本身的内在特性，尤其是在模型与人类协作的智能体AI情形下。我们提出ClarifyCoder框架，通过合成数据生成和指令微调来微调LLM以识别歧义并在代码生成前请求澄清。我们的方案包含两个组成部分：(1)一种数据合成技术，为需要澄清的场景增强编程数据集，以生成澄清感知训练数据；(2)一种微调策略，教会模型在面对不完整或模糊需求时优先寻求澄清而非立即生成代码。我们还提供了将ClarifyCoder与标准微调集成进行联合优化澄清感知与编码能力的实证分析。实验结果表明，ClarifyCoder在模糊任务上实现了63%的沟通率（提升40个百分点）和52%的好问题率（提升30个百分点），显著提升了LLM的沟通能力，同时保持了代码生成性能。
引用
@article{arxiv.2504.16331,
title = {Can Code Language Models Learn Clarification-Seeking Behaviors?},
author = {Jie JW Wu and Manav Chaudhary and Davit Abrahamyan and Arhaan Khaku and Anjiang Wei and Fatemeh H. Fard},
journal= {arXiv preprint arXiv:2504.16331},
year = {2025}
}