动态稀疏性：挑战机器人强化学习基准中的常见稀疏性假设
机器学习
2025-11-17 v2 人工智能
机器人学
摘要
学习的动态模型，也称为世界模型，可以提高强化学习的样本效率。最近的工作表明，这类动态模型的底层因果图是稀疏连接的，即每个未来状态变量仅依赖于当前状态变量的小子集，这表明学习可能受益于稀疏先验。类似地，时间稀疏性，即稀疏且突然变化的局部动态，也被提出作为有用的归纳偏置。本文通过分析来自 MuJoCo Playground 基准套件中一组机器人强化学习环境的 ground-truth 动态，批判性地检验这些假设，旨在确定所提出的状态稀疏性和时间稀疏性概念在典型强化学习任务中是否实际成立。我们研究（i）环境动态的因果图是否稀疏，（ii）这种稀疏性是否与状态相关，（iii）局部系统动态是否稀疏变化。我们的结果表明，全局稀疏性很少出现，但任务显示其在动态中的局部、状态依赖稀疏性，这种稀疏性呈现出distinct 结构，出现在时间局部化的簇中（例如，在接触事件期间），并影响特定状态维度的子集。这些发现挑战了动态学习中常见的稀疏先验假设，强调需要反映真实世界动态中状态依赖稀疏性结构的扎实归纳偏置。
引用
@article{arxiv.2511.08086,
title = {Dynamic Sparsity: Challenging Common Sparsity Assumptions for Learning World Models in Robotic Reinforcement Learning Benchmarks},
author = {Muthukumar Pandaram and Jakob Hollenstein and David Drexel and Samuele Tosatto and Antonio Rodríguez-Sánchez and Justus Piater},
journal= {arXiv preprint arXiv:2511.08086},
year = {2025}
}