无任务相关源数据的跨模态知识迁移
计算机视觉与模式识别
2022-09-12 v1
摘要
作为常规RGB传感器替代方案的高性价比深度和红外传感器如今已成为现实，并且在自主导航和遥感等领域相比RGB具有一些优势。因此，构建用于深度和红外数据的计算机视觉与深度学习系统至关重要。然而，这些模态的大规模标注数据集仍然匮乏。在此类情况下，将在一个标注良好的源模态（RGB）大规模数据集上训练的神经网络的知识迁移到工作在目标模态（深度、红外等）的神经网络具有重大价值。出于内存和隐私等原因，可能无法访问源数据，知识迁移需要仅利用源模型进行。我们描述了一种有效的解决方案SOCKET：无源跨模态知识迁移（SOurce-free Cross-modal KnowledgE Transfer），用于这一无需访问任务相关源数据即可将知识从一种源模态迁移到不同目标模态的挑战性任务。该框架利用成对的任务无关数据以及通过将目标特征的均值和方差与源模型中存在的批归一化统计量相匹配来缩小模态差距。我们通过大量实验表明，我们的方法显著优于现有的不考虑模态差距的分类任务无源方法。
引用
@article{arxiv.2209.04027,
title = {Cross-Modal Knowledge Transfer Without Task-Relevant Source Data},
author = {Sk Miraj Ahmed and Suhas Lohit and Kuan-Chuan Peng and Michael J. Jones and Amit K. Roy-Chowdhury},
journal= {arXiv preprint arXiv:2209.04027},
year = {2022}
}