模型何时决定何时绑定：多选问答的两阶段计算
计算与语言
2026-01-08 v1
摘要
多选问答(MCQA)容易评估，但增加了一个 meta 任务：模型必须同时解决问题并输出代表答案的符号，将推理错误与符号绑定错误混合在一起。我们研究语言模型如何在内部实现 MCQA，使用 representational 分析(PCA、线性探针)以及因果干预。我们发现，选项边界(换行)残差状态常常包含与 per-option 正确性强相关的可线性解码信号。获胜身份探测揭示了一个两阶段过程：在处理完最后一个选项后，获胜 content position 立即变得可解码，而 output symbol 在靠近答案发射位置时才被表示。在符号和 content 置换测试中支持一种两阶段机制，即模型首先在 content 空间中选择获胜者，然后绑定或路由该获胜者到 appropriate symbol 以发射。
引用
@article{arxiv.2601.03914,
title = {When Models Decide and When They Bind: A Two-Stage Computation for Multiple-Choice Question-Answering},
author = {Hugh Mee Wong and Rick Nouwen and Albert Gatt},
journal= {arXiv preprint arXiv:2601.03914},
year = {2026}
}
备注
Under review