超越权重适配：基于特征空间的跨模态舰船重识别域注入
计算机视觉与模式识别
2025-12-25 v1
摘要
跨模态舰船重识别（CMS Re-ID）是实现全天候全天候海洋目标跟踪的关键任务，但面临显著的模态差异挑战。主流解决方案通常依赖显式的模态对齐策略；然而，这种范式严重依赖于构建大规模配对数据集进行预训练。为此，基于柏拉图表示假设，我们探索了视觉基础模型（VFM）在弥合模态差距中的潜力。鉴于现有通用参数高效微调（PEFT）方法在权重空间中运行，尤其在有限容量模型上表现不佳，我们将优化视角转向特征空间，提出一种新的PEFT策略，称为域表示注入（DRI）。具体而言，在保持VFM完全冻结以最大程度保留通用知识的同时，我们设计了一个轻量级、可学习的偏移编码器，从原始输入中提取富含模态和身份属性的域特定表示。根据不同层级中间特征的上下文信息，一个调制器适时地转换这些表示。随后，这些表示通过加法融合被注入到中间层中，动态地重塑特征分布以适应下游任务，而无需改变VFM的预训练权重。广泛的实验结果表明，我们的方法在性能上取得了最先进（SOTA）的成绩，参数数量极少。例如，在HOSS-ReID数据集上，我们仅使用1.54M和7.05M参数即可分别实现57.9%和60.5%的mAP。代码已公开于 https://github.com/TingfengXian/DRI。
引用
@article{arxiv.2512.20892,
title = {Beyond Weight Adaptation: Feature-Space Domain Injection for Cross-Modal Ship Re-Identification},
author = {Tingfeng Xian and Wenlve Zhou and Zhiheng Zhou and Zhelin Li},
journal= {arXiv preprint arXiv:2512.20892},
year = {2025}
}