基于事件感知的视觉鲁棒性对抗性模仿从视频中实现超越域随机化
强关联电子
2026-02-17 v3 材料科学
摘要
从视频中模仿往往在专家演示与学习环境之间出现领域偏移（例如光照、颜色或纹理的差异）时会失败。虽然视觉随机化部分缓解了这一问题，但计算代价高昂且本质上是反应性的，难以应对未见情景。我们提出了不同方法：不对外观进行随机化，而是彻底消除其影响，通过重新构思感知表征本身来实现。灵感来自生物视觉系统优先关注时间瞬变（例如视网膜神经细胞）以及最近些年传感器进步，引介事件感知感知，用于从视频中实现视觉鲁棒模仿。我们的方法将标准 RGB 视频转换为稀疏、基于事件的表征，编码时间强度梯度，丢弃静态外观特征。这种生物学依据的方法将运动动力学与视觉风格解耦，使即使在专家与智能体环境之间存在视觉不匹配的情况下，也能实现从观察中进行鲁棒的视觉模仿。通过在事件流上训练策略，我们在无需计算密集且环境特定数据增强技术的情况下实现对基于外观的干扰物的不变性。跨 DeepMind Control Suite 和 Adroit 平台进行的实验表明了该方法的有效性。我们的代码已公开于 Eb-LAIfO。
引用
@article{arxiv.2505.18898,
title = {Absence of Long-Range Order and Magnetic Anisotropy in the Triangular Magnet NdMgAl$_{11}$O$_{19}$},
author = {Sonu Kumar and Gaël Bastien and Jan Prokleška and Mateusz Kempiński and Wojciech Kempiński and Karol Załęski and Andrej Kancko and Cinthia Antunes Corrêa and Tim Treu and Philipp Gegenwart and Małgorzata Śliwińska-Bartkowiak and Ross H. Colman},
journal= {arXiv preprint arXiv:2505.18898},
year = {2026}
}