结合可泛化高斯溅射的强化学习
计算机视觉与模式识别
2024-08-07 v3 人工智能
机器学习
摘要
优秀的表示对强化学习（RL）的性能至关重要，在基于视觉的强化学习任务中尤为如此。环境表示的质量直接影响学习任务的达成。以往的基于视觉的RL通常采用显式或隐式方式表示环境，例如图像、点、体素和神经辐射场。然而，这些表示方法存在若干缺陷：它们要么无法描述复杂的局部几何结构，要么对未见场景的泛化能力不佳，要么需要精确的前景掩码。此外，这些隐式神经表示类似于“黑盒”，极大地阻碍了可解释性。3D高斯溅射（3DGS）凭借其显式的场景表示和可微渲染特性，被认为是重建与表示方法的革命性变化。在本文中，我们提出了一种新颖的可泛化高斯溅射框架作为RL任务的表示，称为GSRL。通过在RoboMimic环境中进行验证，我们的方法在多项任务中取得了优于其他基线的结果，在最困难的任务上性能分别比基线提升了10%、44%和15。这项工作是首次尝试利用可泛化的3DGS作为RL的表示。
引用
@article{arxiv.2404.07950,
title = {Reinforcement Learning with Generalizable Gaussian Splatting},
author = {Jiaxu Wang and Qiang Zhang and Jingkai Sun and Jiahang Cao and Gang Han and Wen Zhao and Weining Zhang and Yecheng Shao and Yijie Guo and Renjing Xu},
journal= {arXiv preprint arXiv:2404.07950},
year = {2024}
}
备注
7 pages,2 figures