GaussFly：用于 3D 高斯场中的视觉-运动策略的对比强化学习
机器人学
2026-04-08 v1
摘要
仅依赖单目视觉学习为自主空中车辆（AAV）构建视觉-运动策略是一个引人注目但极具挑战性的范式。现有的端到端学习方法直接将高维 RGB 观察映射到动作命令，常因视觉差异导致样本效率低下和严重的仿真-现实鸿沟。为解决这些长期存在的挑战，我们提出 GaussFly，一种通过紧密的现实-仿真-现实范式显式地将表示学习与策略优化解耦的新框架。首先，为实现高保真的现实-仿真转换，我们使用 3D 高斯溅射（3DGS）重建训练场景，增强了显式几何约束。其次，为确保鲁棒的仿真-现实迁移，我们利用这些照片级模拟环境，并采用对比表示学习从渲染的 RGB 图像中提取紧凑、抗噪声的潜在特征。通过利用此预训练的编码器提供低维特征输入，显著降低了视觉-运动策略的计算负担，同时其对视觉噪声的抵抗力天然增强。大量在仿真和现实世界环境中的实验表明，GaussFly 在样本效率和渐近性能方面优于基线方法。关键的是，它能够实现对未知现实世界环境中复杂纹理的稳健、零样本策略迁移，有效弥合了仿真-现实鸿沟。
引用
@article{arxiv.2604.05062,
title = {GaussFly: Contrastive Reinforcement Learning for Visuomotor Policies in 3D Gaussian Fields},
author = {Yuhang Zhang and Mingsheng Li and Yujing Shang and Zhuoyuan Yu and Chao Yan and Jiaping Xiao and Mir Feroskhan},
journal= {arXiv preprint arXiv:2604.05062},
year = {2026}
}