面向基于事件的视觉运动策略的表示学习
计算机视觉与模式识别
2021-10-01 v2 机器人学
摘要
基于事件的相机是动态视觉传感器，以微秒级提供逐像素亮度变化的异步测量。这使其显著快于传统基于帧的相机，并成为高速导航的诱人选择。尽管作为一种有趣的传感器模态，这种异步流式事件数据对更适用于基于帧数据的机器学习技术提出了挑战。在本文中，我们提出一种事件变分自编码器，并表明直接从异步时空事件数据学习紧凑表示是可行的。此外，我们表明此类预训练表示可用于基于事件的强化学习，而非端到端奖励驱动的感知。我们通过将此学习基于事件的视觉运动策略框架应用于仿真中的避障场景来验证它。相较于将事件数据当作图像处理的技术，我们表明从事件流学习的表示带来了更快的策略训练、适应不同控制能力，并展现出更高程度的鲁棒性。
引用
@article{arxiv.2103.00806,
title = {Representation Learning for Event-based Visuomotor Policies},
author = {Sai Vemprala and Sami Mian and Ashish Kapoor},
journal= {arXiv preprint arXiv:2103.00806},
year = {2021}
}