赛跑思维：大型语言模型情境化错误的解释
计算与语言
2025-04-30 v2
摘要
基于转换器的语言模型的显著成功在很大程度上归因于其能够整合来自输入序列的相关情境信息，以生成响应或完成任务。然而，我们对模型用于实现这一能力的算法几乎一无所知，也不了解其故障模式。例如，给定提示“John是去钓鱼了，所以他走向了银行。他能进行ATM交易吗？”，如果模型没有正确地将“bank”情境化为地理特征，而非金融机构，可能会错误地回答“是的”。我们提出了LLM赛跑条件假设，用以解释此类情境化错误。该假设识别了令牌之间的依赖关系（例如，“bank”必须在最终令牌“?”之前正确情境化，“?”整合了来自“bank”的信息），并声称情境化错误是由于违反这些依赖关系所致。通过多种技术从机制解释性方面提供相关性和因果性证据支持该假设，并建议推理时干预措施以解决此问题。
引用
@article{arxiv.2410.02102,
title = {Racing Thoughts: Explaining Contextualization Errors in Large Language Models},
author = {Michael A. Lepori and Michael C. Mozer and Asma Ghandeharioun},
journal= {arXiv preprint arXiv:2410.02102},
year = {2025}
}