基于特征透视变换的多视角检测
计算机视觉与模式识别
2021-05-04 v2 机器学习
摘要
融合多相机视角进行检测可缓解拥挤场景中遮挡的影响。在多视角系统中，面对由遮挡引起的歧义时，我们需要回答两个重要问题。第一，应如何聚合来自多个视角的线索？第二，应如何聚合被遮挡污染的不可靠的二维和三维空间信息？为回答这些问题，我们提出了一种新颖的多视角检测系统 MVDet。对于多视角聚合，现有方法组合来自图像平面的锚框特征，由于锚框形状和尺寸不准确，这可能限制性能。相反，我们采用无锚框方法，通过将特征图投影到地平面（鸟瞰图）来聚合多视角信息。为解决任何残留的空间歧义，我们在地平面特征图上应用大核卷积，并从检测峰值推断位置。我们的整个模型是端到端可学习的，在标准 Wildtrack 数据集上取得了 88.2% 的 MODA，比最先进水平高出 14.1%。我们还在新引入的合成数据集 MultiviewX 上对 MVDet 进行了详细分析，该数据集可控制遮挡程度。代码和 MultiviewX 数据集可在 https://github.com/hou-yz/MVDet 获取。
引用
@article{arxiv.2007.07247,
title = {Multiview Detection with Feature Perspective Transformation},
author = {Yunzhong Hou and Liang Zheng and Stephen Gould},
journal= {arXiv preprint arXiv:2007.07247},
year = {2021}
}