面向广义零样本学习的渐进式语义-视觉互适应方法
计算机视觉与模式识别
2023-03-28 v1
摘要
广义零样本学习（GZSL）通过从已见域迁移知识来识别未见类别，依赖于视觉与语义信息之间的内在交互。先前工作主要定位与共享属性对应的区域。当多种视觉外观对应同一属性时，共享属性不可避免地引入语义歧义，阻碍准确语义-视觉交互的探究。本文部署双语义-视觉变换器模块（DSVTM）渐进式建模属性原型与视觉特征之间的对应关系，构建渐进式语义-视觉互适应（PSVMA）网络，用于语义消歧与知识可迁移性提升。具体而言，DSVTM 设计实例驱动的语义编码器，学习以实例为中心的原型以适应不同图像，将不匹配的语义-视觉对重构为匹配对。随后，语义驱动的实例解码器强化匹配对之间准确的跨域交互以实现语义相关实例适应，促进无歧义视觉表示的生成。此外，为缓解 GZSL 中对已见类的偏置，提出去偏损失以追求已见与未见预测间响应一致性。PSVMA 持续优于其他最先进方法。代码将发布于：https://github.com/ManLiuCoder/PSVMA。
引用
@article{arxiv.2303.15322,
title = {Progressive Semantic-Visual Mutual Adaption for Generalized Zero-Shot Learning},
author = {Man Liu and Feng Li and Chunjie Zhang and Yunchao Wei and Huihui Bai and Yao Zhao},
journal= {arXiv preprint arXiv:2303.15322},
year = {2023}
}
备注
Accepted by CVPR2023