基于可插拔事件到图像转换的面向事件端任务预测的双重迁移学习
计算机视觉与模式识别
2021-11-25 v3
摘要
事件相机是感知逐像素强度变化并以高动态范围和较少运动模糊输出异步事件流的新型传感器。已有研究表明，仅事件可基于类编码器-解码器网络用于端任务学习，例如语义分割。然而，由于事件稀疏且主要反映边缘信息，仅依靠解码器难以恢复原始细节。此外，多数方法仅借助像素级损失进行监督，可能不足以从稀疏事件中充分挖掘视觉细节，从而导致次优性能。在本文中，我们提出一种简单而灵活的双流框架，称为双重迁移学习（DTL），以在不增加额外推理成本的情况下有效提升端任务性能。所提方法由三部分组成：事件到端任务学习（EEL）分支、事件到图像转换（EIT）分支，以及同时利用来自 EIT 分支的特征级亲和信息与原级知识的迁移学习（TL）模块，以改进 EEL 分支。这种简单而新颖的方法实现了对事件的强表示学习，并在语义分割与深度估计等端任务上的显著性能提升得到印证。
引用
@article{arxiv.2109.01801,
title = {Dual Transfer Learning for Event-based End-task Prediction via Pluggable Event to Image Translation},
author = {Lin Wang and Yujeong Chae and Kuk-Jin Yoon},
journal= {arXiv preprint arXiv:2109.01801},
year = {2021}
}
备注
ICCV 2021 (updated references in this version)