语言模型的事后解释可改进语言模型
计算与语言
2023-12-08 v3 人工智能
摘要
大语言模型（LLMs）在执行复杂任务方面已展现出卓越能力。此外，近期研究表明，在上下文学习中融入人工标注的原理（例如思维链提示）可显著提升这些模型的性能，尤其是在需要推理能力的任务上。然而，融入此类原理在可扩展性方面存在挑战，因为这需要高度的人工参与。在本工作中，我们提出了一个新颖框架——利用含事后解释的上下文学习放大模型性能（AMPLIFY），其通过自动化原理生成过程来解决上述挑战。为此，我们借助事后解释方法，其输出捕捉各输入特征对模型预测影响程度的归因分数（解释）。更具体地，我们构建嵌入事后解释洞见的自动化自然语言原理，为LLMs提供校正信号。使用真实世界数据集的广泛实验表明，我们的框架AMPLIFY在广泛任务上带来了约10-25%的预测准确率提升，包括那些依赖人工标注原理（如思维链提示）的既有方法表现不佳的任务。我们的工作是最早尝试凸显事后解释作为增强LLMs有效性的有价值工具之潜力的研究之一。此外，我们进行了额外的实证分析与消融研究，以展示AMPLIFY各组件的影响，这进而带来 refinement 上下文学习的关键洞见。
引用
@article{arxiv.2305.11426,
title = {Post Hoc Explanations of Language Models Can Improve Language Models},
author = {Satyapriya Krishna and Jiaqi Ma and Dylan Slack and Asma Ghandeharioun and Sameer Singh and Himabindu Lakkaraju},
journal= {arXiv preprint arXiv:2305.11426},
year = {2023}
}