基于典型相关分析的单目图像目标检测

在不使用点云或深度图像等额外三维数据提供三维信息的情况下，我们从单目图像中恢复三维物体信息。从单目图像中恢复出高质量的预测深度图像，并将其与相应的单目图像一起输入到二维目标提议网络。大多数具有双流输入数据的现有深度学习框架总是通过拼接或相加来融合独立数据，这视特征图的每一部分对整体任务有同等贡献。然而，当数据含噪且冗余信息过多时，这些方法不再高效地产生预测或分类。在本报告中，我们提出一个二维 CCA（典型相关分析）框架来融合单目图像与相应的预测深度图像，用于图像分类和目标检测等基础计算机视觉任务。首先，我们实现了不同结构与一维 CCA 及 Alexnet 以测试在图像分类任务上的性能。然后，我们将其中一种结构结合 2D-CCA 用于目标检测。在这些实验中，我们发现所提框架在将预测深度图像作为输入且模型由真实深度训练时表现更好。