面向音视频通用零样本学习的极简异常分布检测
计算机视觉与模式识别
2025-03-31 v1
摘要
零样本学习 (ZSL) 通过探索辅助类别信息实现从已见类别到未见类别的知识迁移，这是一项具有前景但技术难度大的研究主题。在该领域中，音视频通用零样本学习 (AV-GZSL) 吸引了研究者的广泛关注，其中复杂的三模态 (音频、视频、自然语言) 关系使该任务既具挑战性又极具研究价值。然而，现有的基于嵌入和基于生成的 AV-GZSL 方法都容易受到域迁移问题的影响。我们提出一种基于极简异常分布检测 (OOD) 的 AV-GZSL 方法 (EZ-AVOOD)，通过在初始阶段区分已见和未见样本来进一步缓解偏差问题。EZ-AVOOD 利用类别特定 logits 和类别无关特征子空间中固有的判别信息，实现了有效的已见-未见分离，无需训练额外的 OOD 检测网络。随后采用已见-未见二分类，我们分别使用两个专家模型对已见样本和未见样本进行分类。与现有最先进方法相比，我们的方法在三个音视频数据集上实现了卓越的 ZSL 和 GZSL 性能，成为新的 SOTA，这充分证明了所提出 EZ-AVOOD 方法的有效性。
引用
@article{arxiv.2503.22197,
title = {Extremely Simple Out-of-distribution Detection for Audio-visual Generalized Zero-shot Learning},
author = {Yang Liu and Xun Zhang and Jiale Du and Xinbo Gao and Jungong Han},
journal= {arXiv preprint arXiv:2503.22197},
year = {2025}
}