主动多模态蒸馏用于零样本动作识别
计算机视觉与模式识别
2025-06-17 v1 人工智能
摘要
鉴于其快速进展和广阔的应用前景，零样本动作识别已引起广泛关注。然而，当前方法主要基于有限的单模态数据，未能充分发挥多模态信息的潜力。本文提出了一种新框架，通过基于任务特定上下文线索主动识别每个样本的可靠模态，从而显著提高识别性能。我们的框架集成了主动样本推断（Active Sample Inference, ASI）模块，利用主动推断基于后验分布预测可靠模态并对其进行组织。与强化学习不同，主动推断用基于证据的偏好代替奖励，使预测更稳定。此外，我们引入了主动互相蒸馏模块，通过从更可靠的模态转移知识来增强较不可靠模态的表征学习。在元测试期间，采用自适应多模态推断以更高权重分配给可靠模态。广泛的实验结果表明，我们的方法显著优于现有方法。
引用
@article{arxiv.2506.13322,
title = {Active Multimodal Distillation for Few-shot Action Recognition},
author = {Weijia Feng and Yichen Zhu and Ruojia Zhang and Chenyang Wang and Fei Ma and Xiaobao Wang and Xiaobai Li},
journal= {arXiv preprint arXiv:2506.13322},
year = {2025}
}
备注
IJCAI 2025, the 34th International Joint Conference on Artificial Intelligence