SNeRL：用于强化学习的语义感知神经辐射场
机器学习
2023-06-01 v3 人工智能
计算机视觉与模式识别
机器人学
摘要
由于以往的强化学习表示无法有效融入人类对三维环境的直观理解，它们通常表现次优。本文提出用于强化学习的语义感知神经辐射场（SNeRL），其通过卷积编码器联合优化语义感知神经辐射场（NeRF），从多视角图像中学习三维感知的神经隐式表示。我们在NeRF的RGB辐射场之外并行引入三维语义场与蒸馏特征场，以学习用于强化学习的语义与以对象为中心的表示。SNeRL在无模型与基于模型的强化学习中均优于以往的基于像素的表示以及近期的三维感知表示。
引用
@article{arxiv.2301.11520,
title = {SNeRL: Semantic-aware Neural Radiance Fields for Reinforcement Learning},
author = {Dongseok Shim and Seungjae Lee and H. Jin Kim},
journal= {arXiv preprint arXiv:2301.11520},
year = {2023}
}
备注
ICML 2023. First two authors contributed equally. Order was determined by coin flip