基于梯度特征归因分析大语言模型中的思维链提示
计算与语言
2023-07-26 v1 人工智能
摘要
思维链（CoT）提示已被证明能在经验上提升大语言模型（LLM）在各类问答任务上的准确率。尽管理解CoT提示为何有效对于确保该现象是模型期望行为的后果至关重要，但对此鲜有研究；然而，这种理解是负责任模型部署的关键前提。我们通过利用基于梯度的特征归因方法来解决这一问题，该方法产生捕捉输入词元对模型输出影响的显著度分数。具体而言，我们探查多个开源LLM，以考察CoT提示是否影响它们赋予特定输入词元的相对重要性。我们的结果表明，与标准少样本提示相比，CoT提示并未增加提示中语义相关词元显著度分数的量级，但提升了显著度分数对问题扰动和模型输出变化的鲁棒性。
引用
@article{arxiv.2307.13339,
title = {Analyzing Chain-of-Thought Prompting in Large Language Models via Gradient-based Feature Attributions},
author = {Skyler Wu and Eric Meng Shen and Charumathi Badrinath and Jiaqi Ma and Himabindu Lakkaraju},
journal= {arXiv preprint arXiv:2307.13339},
year = {2023}
}
备注
Accepted to Workshop on Challenges in Deployable Generative AI at ICML 2023