用于部分可观测域中预测与规划的稀疏变化潜状态
机器学习
2022-01-14 v2 人工智能
摘要
在部分可观测域中进行预测与规划的常用方法是使用循环神经网络（RNNs），其理想情况下应发展并维护关于隐藏的、任务相关因素的潜记忆。我们假设物理世界中的许多此类隐藏因素随时间恒定，仅稀疏变化。为研究该假设，我们提出门控 正则化动力学（GateL0RD），一种新颖的循环架构，它引入了维持稳定、稀疏变化潜状态的归纳偏置。该偏置通过一种新颖的内部门控函数和对潜状态变化的 范数惩罚来实现。我们证明，在多种部分可观测预测与控制任务中，GateL0RD 可与最先进 RNN 竞争或优于它们。GateL0RD 倾向于编码环境的底层生成因素，忽略虚假时间依赖，并泛化更好，从而在基于模型的规划与强化学习任务中提升采样效率与整体性能。此外，我们展示了所发展的潜状态易于解释，这是迈向 RNN 更好可解释性的一步。
引用
@article{arxiv.2110.15949,
title = {Sparsely Changing Latent States for Prediction and Planning in Partially Observable Domains},
author = {Christian Gumbsch and Martin V. Butz and Georg Martius},
journal= {arXiv preprint arXiv:2110.15949},
year = {2022}
}
备注
Accepted at NeurIPS 2021