通过跨模态跨域知识迁移的无监督脉冲深度估计
计算机视觉与模式识别
2024-07-22 v3
摘要
神经形态脉冲数据作为一种具有高时间分辨率的新兴模态，通过缓解高速运动模糊带来的挑战，在自动驾驶中展现出潜力。然而，训练脉冲深度估计网络在两方面存在显著挑战：像素级任务的空间信息稀疏，以及为时间密集脉冲流获取配对深度标签困难。因此，我们引入开源 RGB 数据以支持脉冲深度估计，利用其标注与空间信息。模态与数据分布的内在差异使得从开源 RGB 到目标脉冲数据直接应用迁移学习较为困难。为此，我们提出跨模态跨域（BiCross）框架，通过引入模拟中介源脉冲数据实现无监督脉冲深度估计。具体而言，我们设计由粗到细知识蒸馏（CFKD）方法，利用面向脉冲的不确定性方案促进全面的跨模态知识迁移，同时保留两模态的独特优势。接着，我们提出自纠正师生（SCTS）机制筛选可靠像素级伪标签并缓解学生模型的域偏移，从而避免目标脉冲数据中的误差累积。为验证 BiCross 的有效性，我们在四种场景（包括合成到真实、极端天气、场景变化与真实脉冲）上进行了充分实验。与面向 RGB 的无监督深度估计方法相比，我们的方法取得了最先进（SOTA）性能。代码与数据集：https://github.com/Theia-4869/BiCross
引用
@article{arxiv.2208.12527,
title = {Unsupervised Spike Depth Estimation via Cross-modality Cross-domain Knowledge Transfer},
author = {Jiaming Liu and Qizhe Zhang and Xiaoqi Li and Jianing Li and Guanqun Wang and Ming Lu and Tiejun Huang and Shanghang Zhang},
journal= {arXiv preprint arXiv:2208.12527},
year = {2024}
}
备注
Accepted by ICRA2024