世界模型中多模态性的量化
机器学习
2021-12-15 v1 人工智能
摘要
基于模型的深度强化学习（RL）假设可获得环境底层转移动力学的模型。该模型可用于预测智能体可能动作的未来效果。当不存在此类模型时，可以学习真实环境的近似，例如通过使用生成式神经网络，有时也称为世界模型（World Models）。由于大多数真实世界环境本质上具有随机性，且转移动力学通常是多模态的，因此使用能够反映这种多模态不确定性的建模技术十分重要。为了在安全关键场景下（尤其是工业环境中）部署此类学习系统，考虑这些不确定性至关重要。在本工作中，我们分析现有指标并提出新的指标，用于检测和量化基于RL的世界模型中的多模态不确定性。对未来不确定状态的正确建模与检测，为以安全方式处理关键情况奠定了基础，这也是在真实世界环境中部署RL系统的先决条件。
引用
@article{arxiv.2112.07263,
title = {Quantifying Multimodality in World Models},
author = {Andreas Sedlmeier and Michael Kölle and Robert Müller and Leo Baudrexel and Claudia Linnhoff-Popien},
journal= {arXiv preprint arXiv:2112.07263},
year = {2021}
}