“它想让我说什么”：弥合终端用户程序员与代码生成大语言模型之间的抽象鸿沟
人机交互
2023-04-14 v1
摘要
代码生成大语言模型将自然语言翻译为代码。然而，在无限的自然语言表述空间中，只有极小一部分能够有效引导代码生成。对于非专家型终端用户程序员而言，学习这一点正是抽象匹配的挑战。我们在电子表格数据分析这一具体情境中考察该挑战，该系统使用 Codex 生成器将用户的自然语言查询映射为 Python 代码，执行代码并展示结果。我们提出基于依据的抽象匹配（grounded abstraction matching），通过将代码翻译回系统化且可预测的自然语言表述来弥合抽象鸿沟。在一项被试间出声思考研究（n=24）中，我们将基于已有查询框架原则的未依据抽象匹配作为对照进行比较。我们发现，基于依据的方法提升了终端用户对代码生成模型能力范围的理解，以及有效使用该模型所需的语言类型。
引用
@article{arxiv.2304.06597,
title = {"What It Wants Me To Say": Bridging the Abstraction Gap Between End-User Programmers and Code-Generating Large Language Models},
author = {Michael Xieyang Liu and Advait Sarkar and Carina Negreanu and Ben Zorn and Jack Williams and Neil Toronto and Andrew D. Gordon},
journal= {arXiv preprint arXiv:2304.06597},
year = {2023}
}