桥接仿真与现实：基于语义 2D 高斯溅射的跨域迁移
计算机视觉与模式识别
2025-12-10 v2
摘要
机器人操作中的跨域迁移是一个长期存在的挑战，源于仿真与真实环境之间的显著域差距。现有的方法，如域随机化、适应和仿真-真实校准，通常需要大量调参或无法泛化到未见场景。为解决这一问题，我们观察到：如果在仿真中的策略训练期间利用域不变特征，并且相同的特征可以在真实部署期间被提取并作为策略的输入，那么域差距可以得到有效弥合，从而实现显著提升的策略泛化能力。为此，我们提出了语义 2D 高斯溅射（S2GS），一种新颖的表示方法，用于提取以对象为中心、域不变的空间特征。S2GS 构建多视角 2D 语义场并通过特征级高斯溅射将它们投影到统一的 3D 空间中。语义过滤机制去除无关的背景内容，确保策略学习的干净和一致输入。为评估 S2GS 的有效性，我们采用扩散策略（Diffusion Policy）作为下游学习算法，并在 ManiSkill 仿真环境中进行实验，随后进行真实部署。结果表明，S2GS 显著提升了仿真到真实的迁移能力，在真实场景中保持了高且稳定的任务性能。
引用
@article{arxiv.2512.04734,
title = {MT-Depth: Multi-task Instance feature analysis for the Depth Completion},
author = {Abdul Haseeb Nizamani and Dandi Zhou and Xinhai Sun},
journal= {arXiv preprint arXiv:2512.04734},
year = {2025}
}