LEOD：面向事件相机的标签高效目标检测
计算机视觉与模式识别
2024-03-27 v2
摘要
利用事件相机进行目标检测受益于该传感器的低延迟与高动态范围。然而，由于其高时间分辨率，为监督训练对事件流进行完整标注成本高昂。为降低该成本，我们提出 LEOD，首个用于标签高效的基于事件的检测的方法。我们的方法通过自训练机制统一了弱监督与半监督目标检测。我们首先利用在有限标签上预训练的检测器，在未标注事件上生成伪真值。随后，检测器使用真实与生成的标签进行重新训练。借助事件的时间一致性，我们运行双向推理并应用基于跟踪的后处理以提升伪标签质量。为针对标签噪声稳定训练，我们进一步设计了软锚点分配策略。我们引入了新的实验协议，以在 Gen1 与 1Mpx 数据集上评估标签高效的基于事件的检测任务。LEOD 在各种标注比例下一致优于监督基线。例如，在 Gen1 上，对于以 1% 和 2% 标签训练的 RVT-S，其 mAP 分别提升 8.6% 与 7.8%。在 1Mpx 上，使用 10% 标签的 RVT-S 甚至超越了其使用 100% 标签的全监督对应模型。即使所有标注数据均可用，LEOD 仍保持有效性，达到了新的 SOTA 结果。最后，我们展示了我们的方法可轻松扩展以改进更大的检测器。代码发布于 https://github.com/Wuziyi616/LEOD
引用
@article{arxiv.2311.17286,
title = {LEOD: Label-Efficient Object Detection for Event Cameras},
author = {Ziyi Wu and Mathias Gehrig and Qing Lyu and Xudong Liu and Igor Gilitschenski},
journal= {arXiv preprint arXiv:2311.17286},
year = {2024}
}
备注
CVPR 2024. Code: https://github.com/Wuziyi616/LEOD