有偏的梦想：潜空间模型中认知不确定性量化的局限性
机器学习
2026-04-29 v1
摘要
基于模型的强化学习区分了在本体感受输入上运行的物理动力学模型与在高维图像观测上运行的潜动力学模型。Dreamer 系列中使用的循环状态空间模型是一种突出的潜空间方法。虽然利用认知不确定性量化来指导探索和减轻模型利用在物理动力学模型中已得到良好确立，但其在潜动力学模型中的迁移受到的审视有限。我们实证表明，潜转移偏向于潜空间中表征良好的区域，表现出可能偏离真实环境动力学的吸引子行为。因此，环境动力学中的差异可能不会在潜空间中显现，从而削弱了认知不确定性估计的可靠性。由于这些吸引子通常位于高奖励区域，潜 rollout 系统性地高估了预测奖励。我们的发现突出了潜动力学模型中认知不确定性估计的关键局限性，并促使对该方法进行更严格的评估。
引用
@article{arxiv.2604.25416,
title = {Biased Dreams: Limitations to Epistemic Uncertainty Quantification in Latent Space Models},
author = {Julia Berger and Bernd Frauenknecht and Sebastian Trimpe and Bastian Leibe},
journal= {arXiv preprint arXiv:2604.25416},
year = {2026}
}