使用合成与真实训练数据时目标检测器的差异

为训练性能良好且具有泛化能力的神经网络，需要足够大且多样的数据集。在遵守隐私法规的情况下收集数据变得愈发困难，而这些大型数据集的标注既耗费资源又耗时。克服这些困难的一种方法是使用合成数据，因为其天然可扩展且可自动标注。然而，在合成数据上训练如何影响神经网络的各层仍不清楚。在本文中，我们在来自城市场景的真实与合成图像上训练 YOLOv3 目标检测器。我们使用中心核对齐（Centered Kernel Alignment, CKA）进行相似性分析，以逐层探究在合成数据上训练的影响。该分析捕捉了检测器的架构，同时展示了不同模型之间既存在差异又存在相似的模式。通过此相似性分析，我们希望揭示合成数据训练对各层的影响，并更好地理解复杂神经网络的内部机制。结果表明，在真实数据上训练的检测器与在合成数据上训练的检测器之间的最大相似性出现在早期层，而最大差异出现在头部部分。结果还显示，冻结与未冻结骨干网络之间在性能或相似性上均无显著差异。