比较性反转学习揭示LLM在非平稳不确定性下的僵化适应
人工智能
2026-04-07 v1
摘要
非平稳环境需要代理人在情境改变时修订先前学习的动作价值。我们将大型语言模型（LLMs）作为具有三个潜在状态和由性能准则或超时触发切换事件的两选项概率反转学习任务中的顺序决策策略进行比较。我们将确定性固定转换循环与增加波动性的随机随机计划进行比较，并评估DeepSeek-V3.2、Gemini-3和GPT-5.2，同时将人类数据作为行为参考。所有模型中，赢-留几乎达到顶峰，而输-转移明显削弱，这揭示了正向与负向证据的非对称使用。DeepSeek-V3.2在反转后表现出极端的固执和弱学习，而Gemini-3和GPT-5.2适应更快，但仍不如人类对损失敏感。随机转换放大了LLM间的反转特定固执，却未必减少总胜利，表明高总体收益可以与僵化适应共存。层次化强化学习（RL）拟合显示，僵化可以源于弱损失学习、政策确定性膨胀或通过反事实抑制导致的价值极化。这这些结果激励开发针对反转敏感诊断和面向非平稳不确定性的LLM评估的波动性感知模型。
引用
@article{arxiv.2604.04182,
title = {Comparative reversal learning reveals rigid adaptation in LLMs under non-stationary uncertainty},
author = {Haomiaomiao Wang and Tomás E Ward and Lili Zhang},
journal= {arXiv preprint arXiv:2604.04182},
year = {2026}
}
备注
14 pages, 2 figures, accepted by IPMU 2026, SS04: Explainable AI and Decision-Making Under Uncertainty: Bridging Interpretability and Robustness