留意指令：提示学习中一致性与交互作用的整体性评估
计算与语言
2023-10-23 v1 人工智能
摘要
寻找将预训练语言模型适配于任务的最佳方式，是当前NLP中的一大挑战。正如前一代任务微调（TT）模型，通过上下文学习（ICL）适配任务的模型在某些设定下鲁棒，在另一些下则不然。在此，我们详细分析了哪些设计选择导致了LLM预测中的不稳定与不一致。首先，我们展示了输入分布与标签间的伪相关——TT模型中的已知问题——对于提示模型仅构成微小困扰。随后，我们对提示设定中被发现影响预测的各类因素开展系统性、整体性的评估。我们在不同规模的原始LLM与指令微调（IT）LLM上测试了一系列因素的所有可能组合，并对结果进行统计分析，以揭示哪些因素最具影响力、交互性或稳定性。我们的结果表明了哪些因素可无顾虑使用，哪些在大多数设定中应避免或谨慎处理。
引用
@article{arxiv.2310.13486,
title = {Mind the instructions: a holistic evaluation of consistency and interactions in prompt-based learning},
author = {Lucas Weber and Elia Bruni and Dieuwke Hupkes},
journal= {arXiv preprint arXiv:2310.13486},
year = {2023}
}