超越域随机化：基于事件的感知用于视觉上稳健的对抗性模仿
计算机视觉与模式识别
2025-05-27 v1 机器学习
机器人学
摘要
视频模仿常常在专家演示与学习环境之间存在域偏移（例如光照、颜色或纹理的差异）时失败。虽然视觉随机化通过增强训练数据部分缓解了此问题，但计算密集且本质上是被动的，难以应对未见情景。我们提出了不同方法：不对外观进行随机化，而是彻底消除其影响，通过重新思考感知表征本身来实现。这一方法受生物视觉系统（例如视网膜神经细胞优先关注时间瞬变）以及近期传感器进步的启发，我们引入基于事件的感知，用于视觉上稳健的模仿。该方法将标准 RGB 视频转换为稀疏的基于事件的表征，编码时间强度梯度，丢弃静态外观特征。这一生物学导向的方法将运动动力学与视觉风格解耦，使即使在专家与智能体环境之间存在视觉不匹配的情况下，也能实现稳健的视觉模仿。通过在事件流上训练策略，我们在无需计算密集且环境特定的数据增强技术的情况下实现对基于外观的干扰项的不变性。实验在 DeepMind Control Suite 和 Adroit 平台上进行，后者用于动态灵巧操作，结果显示我们方法的有效性。我们的代码已公开于 Eb-LAIfO。
引用
@article{arxiv.2505.18899,
title = {Beyond Domain Randomization: Event-Inspired Perception for Visually Robust Adversarial Imitation from Videos},
author = {Andrea Ramazzina and Vittorio Giammarino and Matteo El-Hariry and Mario Bijelic},
journal= {arXiv preprint arXiv:2505.18899},
year = {2025}
}