面向组合零样本学习的层次化视觉基元专家
计算机视觉与模式识别
2023-08-09 v1
摘要
组合零样本学习（CZSL）旨在利用已知基元（属性与对象）的先验知识来识别未见的组合。以往 CZSL 工作常难以把握属性与对象间的上下文关系、视觉特征的可分性，以及真实世界组合数据的长尾分布。我们提出了一个简洁且可扩展的框架，称为组合 Transformer（CoT），以解决这些问题。CoT 以不同方式使用对象与属性专家来生成代表性嵌入，并层次化地利用视觉网络。对象专家以自底向上的方式从最末层提取代表性对象嵌入，而属性专家通过所提出的对象引导注意力模块以自顶向下的方式生成属性嵌入，该模块显式建模上下文关系。为补救由数据分布不均衡引起的偏置预测，我们开发了简单的少数属性增强（MAA），通过混合两幅图像并过采样少数属性类来合成虚拟样本。我们的方法在包括 MIT-States、C-GQA 与 VAW-CZSL 在内的多个基准上取得了 SOTA 性能。我们还展示了 CoT 在提升视觉判别力与缓解不平衡数据分布所致模型偏置上的有效性。代码见 https://github.com/HanjaeKim98/CoT。
引用
@article{arxiv.2308.04016,
title = {Hierarchical Visual Primitive Experts for Compositional Zero-Shot Learning},
author = {Hanjae Kim and Jiyoung Lee and Seongheon Park and Kwanghoon Sohn},
journal= {arXiv preprint arXiv:2308.04016},
year = {2023}
}
备注
ICCV 2023