面向广义零样本学习的属性感知表示校正
计算机视觉与模式识别
2023-12-05 v2
摘要
广义零样本学习（GZSL）通过设计一系列无偏视觉-语义映射取得了显著性能，其中精度高度依赖于从已见与未见类别中提取视觉特征的完整性。然而，作为 GZSL 的通用做法，预训练特征提取器可能难以捕捉下游任务/数据集的特定领域特质以提供细粒度判别特征，即领域偏置，这阻碍了整体识别性能，尤其对未见类别。近期研究通过微调特征提取器部分解决该问题，但可能不可避免地引发灾难性遗忘与过拟合。本文提出一种简洁而有效的 GZSL 属性感知表示校正框架，称为 ，以自适应校正特征提取器学习新特征同时保留原有有价值特征。具体而言，我们的方法包含两个关键组件：未见感知蒸馏（UAD）与属性引导学习（AGL）。训练期间，UAD 利用已见/未见类共享的属性文本先验知识，通过注意力机制针对性检测并维持未见类敏感视觉特征；同时，AGL 旨在通过属性引导表示学习引导模型关注有价值特征并抑制其拟合已见类中的噪声元素。在多个基准数据集上的大量实验证明了本方法的有效性。
引用
@article{arxiv.2311.14750,
title = {Attribute-Aware Representation Rectification for Generalized Zero-Shot Learning},
author = {Zhijie Rao and Jingcai Guo and Xiaocheng Lu and Qihua Zhou and Jie Zhang and Kang Wei and Chenxin Li and Song Guo},
journal= {arXiv preprint arXiv:2311.14750},
year = {2023}
}
备注
11 pages, 6 figures