提示的偏离性：连续提示离散化解释的古怪案例
计算与语言
2022-05-05 v2
摘要
为目标任务微调连续提示近来已成为全模型微调的一种紧凑替代方案。受这些有前景的结果启发，我们研究了提取连续提示的离散（文本）解释的可行性，该解释应忠实于其所解决的问题。在实践中，我们观察到连续提示所解决的任务与其最近邻离散投影之间的“偏离”行为：我们可以找到解决某任务的连续提示，同时其被投影到任意文本（例如，不同甚至矛盾任务的定义），且与同尺寸任务的最佳连续提示仅相差极小（2%）的边际。我们为这一奇怪且令人惊讶的行为提供了直觉解释，并给出了量化各参数影响的广泛实证分析。例如，对于更大的模型尺寸，我们观察到更高的偏离性，即我们可以找到更紧密映射到任意文本且精度下降更小的提示。这些发现对忠实解释连续提示及其跨模型与任务的泛化难度具有重要启示，为未来语言模型提示研究提供指导。
引用
@article{arxiv.2112.08348,
title = {Prompt Waywardness: The Curious Case of Discretized Interpretation of Continuous Prompts},
author = {Daniel Khashabi and Shane Lyu and Sewon Min and Lianhui Qin and Kyle Richardson and Sean Welleck and Hannaneh Hajishirzi and Tushar Khot and Ashish Sabharwal and Sameer Singh and Yejin Choi},
journal= {arXiv preprint arXiv:2112.08348},
year = {2022}
}
备注
NAACL 2022