非对称跨模态知识蒸馏：桥接弱语义一致性的模态
计算机视觉与模式识别
2025-11-13 v1
摘要
跨模态知识蒸馏在具有强语义联系的配对模态上展现出了有前景的性能，这被称为对称跨模态知识蒸馏（SCKD）。然而，由于配对模态的可用性有限，在现实场景中实施SCKD受到极大制约。为此，我们研究了一种在弱语义一致性下通用且有效的知识学习概念，被称为非对称跨模态知识蒸馏（ACKD），旨在桥接语义重叠有限的模态。然而，从强语义一致性向弱语义一致性的转变虽然提高了灵活性，但加剧了知识传输成本方面的挑战，我们基于最优传输理论严格验证了这一点。为缓解这一问题，我们进一步提出了一个名为SemBridge的框架，集成了学生友好匹配模块和语义感知知识对齐模块。前者利用自监督学习获取基于语义的知识，并通过动态选择相关的教师样本为每个学生样本提供个性化指导。后者采用拉格朗日优化寻求最优传输路径。为了促进相关研究，我们策划了一个源自多光谱（MS）与非对称RGB图像两种模态的基准数据集，专为遥感场景分类量身定制。综合实验表明，与7种现有方法相比，我们的框架在6种不同模型架构及多个数据集上均取得了SOTA性能。
引用
@article{arxiv.2511.08901,
title = {Asymmetric Cross-Modal Knowledge Distillation: Bridging Modalities with Weak Semantic Consistency},
author = {Riling Wei and Kelu Yao and Chuanguang Yang and Jin Wang and Zhuoyan Gao and Chao Li},
journal= {arXiv preprint arXiv:2511.08901},
year = {2025}
}
备注
Accepted by AAAI-2026