Stem-OB：通过扩散反演的类茎收敛观测实现可泛化视觉模仿学习
机器人学
2024-11-14 v2 计算机视觉与模式识别
摘要
视觉模仿学习方法展现出强大的性能，但在面对视觉输入扰动（包括光照和纹理变化）时缺乏泛化能力，阻碍了其现实应用。我们提出 Stem-OB，利用预训练的图像扩散模型抑制低级视觉差异，同时保持高级场景结构。这一图像反演过程类似于将观测转换为一种共享表示，其他观测由此衍生，同时去除多余细节。Stem-OB 与数据增强方法形成对比，它对各种未指定的外观变化具有鲁棒性，无需额外训练。我们的方法是一种简单而高效的即插即用解决方案。实验结果证实了该方法在模拟任务中的有效性，并在现实应用中展现出显著提升，与最佳基线相比成功率平均提高 22.2%。详见 https://hukz18.github.io/Stem-Ob/。
引用
@article{arxiv.2411.04919,
title = {Stem-OB: Generalizable Visual Imitation Learning with Stem-Like Convergent Observation through Diffusion Inversion},
author = {Kaizhe Hu and Zihang Rui and Yao He and Yuyao Liu and Pu Hua and Huazhe Xu},
journal= {arXiv preprint arXiv:2411.04919},
year = {2024}
}
备注
Arxiv preprint version, website: https://hukz18.github.io/Stem-Ob/