基于惊讶识别的世界模型鲁棒性
机器学习
2025-12-02 v1 人工智能
摘要
部署在现实世界中的AI系统必须应对分心和超分布（OOD）噪声，这些噪声会 destabilize their policies 并导致不安全行为。虽然鲁棒训练可减少对某些噪声形式的敏感性，但无法预见所有可能的 OOD 条件。为缓解这一问题，我们开发了一种算法，利用世界模型内在的惊讶度 measure 来降低世界模型-based 强化学习智能体中噪声的影响。我们引入了多表征和单表征拒绝抽样，使其能够抵御多个故障传感器或单个故障传感器的设置。虽然引入噪声通常会降低智能体性能，但我们表明，该技术在自驾 simulation 领域（CARLA 和 Safety Gymnasium）的多种环境中，在不同类型和水平的噪声下，能保持相对于基线的性能。此外，我们展示了该方法显著增强了两种具有显著不同底层架构的 state-of-the-art 世界模型的稳定性：Cosmos 和 DreamerV3。众所周知，这些结果凸显了我们方法在世界建模领域的鲁棒性。我们在 https://github.com/Bluefin-Tuna/WISER 上发布了代码。
引用
@article{arxiv.2512.01119,
title = {World Model Robustness via Surprise Recognition},
author = {Geigh Zollicoffer and Tanush Chopra and Mingkuan Yan and Xiaoxu Ma and Kenneth Eaton and Mark Riedl},
journal= {arXiv preprint arXiv:2512.01119},
year = {2025}
}