大语言模型应通过提出澄清性问题以提升生成代码的置信度
软件工程
2024-01-23 v2 人工智能
机器学习
摘要
大语言模型（LLMs）显著提升了代码生成领域任务的执行能力。然而，LLMs 作为合格程序员与作为顶尖软件工程师之间仍存在差距。基于顶尖软件工程师常在需求与编码方案上提出澄清性问题以减少歧义的观测，我认为同样的方法应应用于 LLMs 的代码生成任务。通过在生成最终代码前就各类主题提出探究性问题，使用 LLMs 编程所面临的挑战（如意图规范不清晰、缺乏计算思维、代码质量不佳）或可得到缓解。这进而提升了对生成代码的置信度。在本工作中，我探索如何利用更好的沟通技巧以实现对生成代码的更高置信度。我提出了一种以沟通为中心的过程，利用 LLM 生成的沟通者识别问题描述与生成代码中高歧义或低置信度的问题，随后提出澄清性问题以获取用户反馈来精炼代码。
引用
@article{arxiv.2308.13507,
title = {Large Language Models Should Ask Clarifying Questions to Increase Confidence in Generated Code},
author = {Jie JW Wu},
journal= {arXiv preprint arXiv:2308.13507},
year = {2024}
}
备注
6 pages, 2 figures, 1 table. Accepted and presented at the 7th Annual Symposium on Machine Programming (MAPS 2023 Workshop, see https://mapsworkshop.github.io/). Reference: "Wu, Jie JW. Large Language Models Should Ask Clarifying Questions to Increase Confidence in Generated Code. The 7th Annual Symposium on Machine Programming (MAPS 23), December 3, 2023, San Francisco, CA, USA"