通过释放任务无关数据潜力实现无源跨模态知识迁移
计算机视觉与模式识别
2024-01-11 v1 人工智能
摘要
无源跨模态知识迁移是一项关键但具有挑战性的任务，其目标是在由于内存和隐私问题无法访问任务相关 (TR) 源数据的情况下，将知识从一种源模态（例如 RGB）迁移到目标模态（例如深度或红外）。近期的一项尝试利用配对的任务无关 (TI) 数据，并直接匹配其特征以消除模态差异。然而，它忽略了一个关键线索，即配对的 TI 数据可用于有效估计源数据分布，并更好地促进知识向目标模态的迁移。为此，我们提出了一个新颖而简洁的框架，以释放配对 TI 数据的潜力，增强无源跨模态知识迁移。我们的工作由两个关键技术组件支撑。首先，为了更好地估计源数据分布，我们引入了一个任务无关数据引导的模态桥接 (TGMB) 模块。它基于配对的 TI 数据和可用源模型的引导，将目标模态数据（例如红外）转换为类似源的 RGB 图像，以缓解两个关键差异：1) 配对 TI 数据之间的模态间差异；2) TI 与 TR 目标数据之间的模态内差异。然后，我们提出了一个任务无关数据引导的知识迁移 (TGKT) 模块，通过利用配对的 TI 数据将知识从源模型迁移到目标模型。值得注意的是，由于 TR 目标数据标签的不可用性及其来自源模型的预测可靠性较低，我们的 TGKT 模型结合了一种自监督伪标签方法，使目标模型能够从其自身预测中学习。大量实验表明，我们的方法在三个数据集（RGB 到深度和 RGB 到红外）上达到了最先进的性能。
引用
@article{arxiv.2401.05014,
title = {Source-Free Cross-Modal Knowledge Transfer by Unleashing the Potential of Task-Irrelevant Data},
author = {Jinjing Zhu and Yucheng Chen and Lin Wang},
journal= {arXiv preprint arXiv:2401.05014},
year = {2024}
}