注意你的（逐步）思考：思维链可能降低模型在思考使人类表现变差的任务上的性能
机器学习
2025-06-17 v4 人工智能
计算与语言
计算机与社会
摘要
思维链（CoT）提示已成为提高大语言和多模态模型性能的广泛使用策略。然而，在何种设置下CoT会系统性地降低性能，这仍然是一个悬而未决的问题。在本文中，我们借鉴认知心理学，试图识别CoT降低性能的任务特征，重点关注心理学文献中深思熟虑会损害人类表现的六个代表性任务。在其中三个任务中，最先进的模型在使用CoT时表现出显著的性能下降（OpenAI o1-preview与GPT-4o相比，绝对准确率下降高达36.3%），而在其他任务中，CoT的效果则好坏参半，有正面、中性和负面的变化。虽然模型和人类并未表现出完全并行的认知过程，但考虑思考对人类产生负面影响的案例有助于识别它对模型产生负面影响的场景。通过将关于人类言语思考和深思熟虑的文献与CoT的评估联系起来，我们为理解推理时思考的影响提供了一个视角。
引用
@article{arxiv.2410.21333,
title = {Mind Your Step (by Step): Chain-of-Thought can Reduce Performance on Tasks where Thinking Makes Humans Worse},
author = {Ryan Liu and Jiayi Geng and Addison J. Wu and Ilia Sucholutsky and Tania Lombrozo and Thomas L. Griffiths},
journal= {arXiv preprint arXiv:2410.21333},
year = {2025}
}