学习信任经验:不可观测反馈可靠性下学习的监控-信任-调节框架
机器学习
2026-01-22 v2
摘要
在不可观测反馈可靠性下学习提出了超越优化鲁棒性的独特挑战:系统必须决定是否从某次经验中学习,而不仅仅是如何稳定地学习。我们将此设定研究为不可观测可靠性下的认知可识别性(EIUR),其中每次经验具有潜在可信度,可靠与不可靠反馈在局部不可区分,且数据由学习者自身不断演化的信念和动作以闭环方式生成。在 EIUR 中,标准鲁棒学习可以稳定收敛,却形成高置信度、系统性错误的信念。我们提出元认知调节作为实际应对方案:一个第二的、内省的控制回路,从学习者内部动态的内生证据中推断经验可信度。我们将其形式化为模块化的监控-信任-调节(MTR)分解,并以自我诊断实例化,后者维护一个缓慢变化的经验信任变量,在无需外生可靠性标签或显式损坏模型的情况下,对学习更新进行软调节。实验表明,在此处研究的 EIUR 体制下,自我诊断与认知可识别性的改善相关。在强化学习中,它实现了校准的怀疑主义以及在系统性损坏奖励下的恢复。在监督学习中,它揭示了一个关键解离:性能恢复并不意味着认知恢复。准确率可以反弹,而内部信念动态仍被早期误导数据锁定,这种失败仅可通过内省诊断检测到。总之,MTR 与自我诊断为不可观测可靠性下自主学习中的内在可靠性评估提供了组织抽象与具体设计模板。
引用
@article{arxiv.2601.09261,
title = {Learning to Trust Experience: A Monitor-Trust-Regulator Framework for Learning under Unobservable Feedback Reliability},
author = {Zhipeng Zhang and Zhenjie Yao and Kai Li and Lei Yang},
journal= {arXiv preprint arXiv:2601.09261},
year = {2026}
}
备注
23 pages, 7 figures. Preprint