TAP：面向无标签模态跨模态知识迁移的注意力补丁
机器学习
2024-06-21 v3 机器学习
摘要
本文研究一个跨模态学习框架，其目标是利用无标签、非配对辅助模态来提升主模态中监督学习的性能。我们采用概率方法进行缺失信息估计，证明辅助模态中包含的额外信息可通过 Nadaraya-Watson (NW) 核回归进行估计，该回归可进一步表示为核化交叉注意力模块（在线性变换下）。这一表达为引入注意力补丁（The Attention Patch, TAP）奠定了基础，TAP 是一个简单的神经网络附加组件，可通过训练实现从无标签模态的数据级知识迁移。我们利用真实世界数据集进行了广泛的数值模拟，结果表明 TAP 能够在不同领域和不同神经网络架构下，利用看似不可用的无标签跨模态数据，在泛化性能上实现统计显著的提升。
引用
@article{arxiv.2302.02224,
title = {TAP: The Attention Patch for Cross-Modal Knowledge Transfer from Unlabeled Modality},
author = {Yinsong Wang and Shahin Shahrampour},
journal= {arXiv preprint arXiv:2302.02224},
year = {2024}
}
备注
Accepted to TMLR