少即是多：长指令摘要更利于程序合成
计算与语言
2022-10-25 v2 人工智能
机器学习
摘要
尽管 Codex 等大型预训练语言模型（LM）取得成功，它们在更大且更复杂的编程相关问题上表现低于平均水平。我们表明 LM 从复杂问题的摘要版本中获益。我们的发现显示，问题描述中常有的冗余信息，如人物角色、背景故事与名称（其为帮助人类理解任务而加入），无助于模型理解任务。为此，我们基于常用的 APPS 数据集与新创建的 CodeContests 数据集为程序合成任务构建了一个元数据集。我们的元数据集包含对冗长复杂编程问题的人工与合成摘要。Codex 上的实验结果显示，在严格准确率上，我们所提方法平均优于基线：APPS 数据集上 8.13%，CodeContests 数据集上 11.88%。分析表明摘要显著提升了入门级（9.86%）与面试级（11.48%）编程问题的表现；但在竞赛级编程问题上仅边际提升（约 2%），意味着该方向尚有未来研究空间。
引用
@article{arxiv.2203.08597,
title = {Less is More: Summary of Long Instructions is Better for Program Synthesis},
author = {Kirby Kuznia and Swaroop Mishra and Mihir Parmar and Chitta Baral},
journal= {arXiv preprint arXiv:2203.08597},
year = {2022}
}
备注
EMNLP 2022