基于光度重渲染的可变材料操作增强策略 (M$^3$A Policy)
机器人学
2025-12-02 v1
摘要
材料泛化对于现实世界的机器人操作至关重要，机器人必须与 exhibiting 多样化视觉和物理属性的物体进行交互。这一挑战在于由玻璃、金属或其他材料制成的物体尤为突出，这些物体的透明或反射表面引入了严重的分布外变化。现有方法要么依赖模拟器中的模拟材料进行仿真到现实的迁移，这受限于显著的视觉域间差距；要么依赖收集大量现实世界演示，这既成本高昂又耗时，而且仍不足以覆盖各种材料。为克服这些限制，我们动用计算摄影学，引入可变材料操作增强 (MA)，一个统一框架，利用材料的物理特性通过光传输捕获，以进行光度重渲染。核心思想是简单而强大：给定单个现实世界演示，我们对场景进行光度重渲染，以生成一套具有不同材料属性的多样化高真实感演示。这种增强有效地将任务特定的操作技能从表面外观中解耦，使策略能够在无需额外数据收集的情况下实现材料间的泛化。为系统评估这一能力，我们构建了第一个覆盖仿真和现实世界环境的综合多材料操作基准。大量实验表明，MA 策略显著提升了跨材料泛化能力，在三个现实世界任务中的平均成功率提高了 58.03%，并在此前未见过的材料上表现出稳健的性能。
引用
@article{arxiv.2512.01446,
title = {$\mathbf{M^3A}$ Policy: Mutable Material Manipulation Augmentation Policy through Photometric Re-rendering},
author = {Jiayi Li and Yuxuan Hu and Haoran Geng and Xiangyu Chen and Chuhao Zhou and Ziteng Cui and Jianfei Yang},
journal= {arXiv preprint arXiv:2512.01446},
year = {2025}
}
备注
under submission