语法树上的扩散模型用于程序综合

大型语言模型逐 token 生成代码， 其自回归生成过程缺乏观察程序输出后的反馈。训练 LLM 直接建议编辑可能困难， 因为富有成分的编辑数据稀缺。为此，我们提出一种作用于任意上下文无关语法的语法树上的神经扩散模型。类似于图像扩散模型， 该方法还反转对语法树施加的“噪声”。与生成代码的序列方式不同， 我们迭代地编辑代码， 同时保持语法有效性， 从而轻松将此神经模型与搜索相结合。我们将该方法应用于逆图形任务， 使模型学习将图像转换为产生这些图像的程序。结合搜索后， 该模型能够编写图形程序， 查看执行结果， 并调试以满足特定要求。我们还展示了该系统可编写用于手绘草图的图形程序。