思维链仍然思考得快：APriCoT有助于慢思考
计算与语言
2025-08-12 v3 人工智能
摘要
语言模型已知会吸收训练数据中的偏见，导致预测由统计规律而非语义相关性驱动。我们研究了这些偏见对大规模多任务语言理解(MMLU)任务中答案选择偏好的影响。我们的发现表明，这些偏见可以预测模型偏好，并且即使在使用思维链(CoT)推理时，也反映了人类的应试策略。为解决这一问题，我们引入了基于无偏先验的反事实提示思维链(APriCoT)。我们证明仅使用反事实提示结合CoT不足以缓解偏见，而APriCoT在提高整体准确率的同时有效减少了基础概率的影响。我们的结果表明，缓解偏见需要一个慢思考过程，而CoT单独可能无法提供，因为它在某些提示方法下倾向于强化快思考模型的偏见。APriCoT是开发更鲁棒和公平的能够慢思考的语言模型的一步。
引用
@article{arxiv.2408.08651,
title = {Chain of Thought Still Thinks Fast: APriCoT Helps with Thinking Slow},
author = {Kyle Moore and Jesse Roberts and Thao Pham and Douglas Fisher},
journal= {arXiv preprint arXiv:2408.08651},
year = {2025}
}
备注
Final version. Published In Proceedings of the Annual Meeting of the Cognitive Science Society (Vol. 47) 2025