NocPlace: 通过生成与继承知识迁移的夜间视觉地点识别
计算机视觉与模式识别
2024-03-22 v2
摘要
视觉地点识别（VPR）在计算机视觉中至关重要，旨在从大量已知图像中检索与查询图像相似的数据库图像。然而，与许多视觉任务一样，由于夜间图像稀缺，VPR在夜间性能总是下降。此外，VPR需要解决夜间到白天的跨域问题，而不仅仅是单个夜间域的问题。针对这些问题，我们提出了NocPlace，它利用生成和继承的知识迁移，将抵抗眩光和极端黑暗的能力嵌入到全局描述符中。首先，我们建立了一个名为NightCities的昼夜城市场景数据集，捕捉了全球60个城市的各种光照变化和黑暗场景。然后，在该数据集上训练图像生成网络，并处理大规模VPR数据集，获得其夜间版本。最后，使用从自身继承的描述符和夜间风格图像对VPR模型进行微调，构建显式的跨域对比关系。在各种数据集上的综合实验证明了我们的贡献和NocPlace的优越性。在不增加任何实时计算资源的情况下，NocPlace在Tokyo 24/7 Night上将Eigenplaces的性能提升了7.6%，在SVOX Night上提升了16.8%。
引用
@article{arxiv.2402.17159,
title = {NocPlace: Nocturnal Visual Place Recognition via Generative and Inherited Knowledge Transfer},
author = {Bingxi Liu and Yiqun Wang and Huaqi Tao and Tingjun Huang and Fulin Tang and Yihong Wu and Jinqiang Cui and Hong Zhang},
journal= {arXiv preprint arXiv:2402.17159},
year = {2024}
}
备注
28 pages,9 figures