基于超网络的多传感器匹配
计算机视觉与模式识别
2026-01-21 v1
摘要
超网络是生成或调制另一个网络权重的模型。它们提供了一种灵活的机制来注入上下文和任务条件，并已被证明在多种应用中广泛有用，且不会显著增加模型大小。我们利用超网络来改进多模态图像块匹配，通过引入一种轻量级的描述符学习架构，该架构用（i）计算自适应、逐通道缩放和偏移的超网络模块，以及（ii）在浅层提供模态特定自适应的条件实例归一化（例如，可见光与红外，VIS-IR），来增强一个孪生CNN。这种组合在推理过程中保留了基于描述符方法的效率，同时增强了对外观变化的鲁棒性。通过三元组损失和难负样本挖掘进行训练，我们的方法在VIS-NIR和其他VIS-IR基准测试上取得了最先进的结果，并在其他数据集上匹配或超越了先前的方法，尽管这些方法的推理成本更高。为了推动领域偏移的研究，我们还发布了GAP-VIR，一个跨平台（地面/空中）的VIS-IR图像块数据集，包含50万对样本，能够对跨域泛化和适应进行严格评估。
引用
@article{arxiv.2601.12325,
title = {Multi-Sensor Matching with HyperNetworks},
author = {Eli Passov and Nathan S. Netanyahu and Yosi Keller},
journal= {arXiv preprint arXiv:2601.12325},
year = {2026}
}