用于广义零样本学习的双专家蒸馏网络
计算机视觉与模式识别
2024-04-30 v2
摘要
零样本学习始终通过建模细致的一种对一的视觉-属性关联来取得显著进展。现有研究依赖于细化统一的映射函数以对齐和关联样本区域和子属性,忽略了两个关键问题:1)属性的内在非对称性;2)未充分利用通道信息。本文通过引入一种简单而有效的方法,称为双专家蒸馏网络(Dual Expert Distillation Network, DEDN),来解决这些问题,其中两个专家分别用于粗粒度和细粒度的视觉-属性建模。具体而言,一个粗粒度专家,称为cExp(coarse Expert),拥有完整的感知范围,以协调视觉-属性相似性指标在维度上的一致性;而另一个细粒度专家,称为fExp(fine Expert),由多个专门子网络组成,每个子网络对应一组专属属性。两个专家在训练期间相互蒸馏,以达成相互协议。同时,我们进一步为 DEDN 设计了一个新型骨干网络,即双注意力网络(Dual Attention Network, DAN),该网络融合了区域注意力和通道注意力信息,以充分利用和利用视觉语义知识。在 various benchmark 数据集上的实验表明,该方法实现了新的状态突破。
引用
@article{arxiv.2404.16348,
title = {Dual Expert Distillation Network for Generalized Zero-Shot Learning},
author = {Zhijie Rao and Jingcai Guo and Xiaocheng Lu and Jingming Liang and Jie Zhang and Haozhao Wang and Kang Wei and Xiaofeng Cao},
journal= {arXiv preprint arXiv:2404.16348},
year = {2024}
}
备注
9 pages, 4 figures; Accepted to IJCAI 2024