基于稀疏事件数据的稠密光流、深度与自运动无监督学习
计算机视觉与模式识别
2019-02-26 v2 机器学习
机器人学
摘要
在这项工作中，我们提出了一种轻量级的无监督学习流水线，用于从动态视觉传感器（DVS）的稀疏事件输出中估计稠密深度、光流和自运动。为处理这一底层视觉任务，我们采用了一种新颖的编码器-解码器神经网络架构——ECN。我们的工作是首个仅从稀疏事件数据生成稠密深度和光流的单目流水线。该网络以自监督模式工作，仅有 150k 参数。我们在 MVSEC 自动驾驶数据集上评估了我们的流水线，并给出了深度、光流和自运动估计的结果。得益于轻量级设计，网络的推理部分在单块 GPU 上以 250 FPS 运行，使该流水线可用于实时机器人应用。我们的实验表明，相较于先前在事件数据上使用深度学习的工作有显著改进，且我们的流水线在白天和夜间均能良好运行。
引用
@article{arxiv.1809.08625,
title = {Unsupervised Learning of Dense Optical Flow, Depth and Egomotion from Sparse Event Data},
author = {Chengxi Ye and Anton Mitrokhin and Cornelia Fermüller and James A. Yorke and Yiannis Aloimonos},
journal= {arXiv preprint arXiv:1809.08625},
year = {2019}
}