反事实零样本与开集视觉识别
计算机视觉与模式识别
2021-03-02 v1 人工智能
摘要
我们提出一种新颖的反事实框架，同时面向零样本学习（ZSL）与开集识别（OSR），其共同挑战在于仅通过在可见类上训练来泛化到不可见类。我们的想法源于如下观察：为不可见类生成的样本常偏离真实分布，导致可见类（高）与不可见类（低）间严重的识别率不平衡。我们指出关键原因在于生成不具备反事实忠实性，从而提出一种忠实的生成方式，其生成源于样本特定的反事实问题：若将其类属性设为某类而保持样本属性不变，该样本会是什么样？得益于忠实性，我们可应用一致性规则进行不可见/可见的二分类，即发问：其反事实是否仍看起来像自身？若“是”，则样本来自某类，否则不是。通过在 ZSL 与 OSR 上的大量实验，我们证明该框架有效缓解了可见/不可见不平衡，从而显著提升了整体性能。需注意此框架与现有方法正交，故可作为评估 ZSL/OSR 模型泛化能力的新基线。代码见 https://github.com/yue-zhongqi/gcm-cf。
引用
@article{arxiv.2103.00887,
title = {Counterfactual Zero-Shot and Open-Set Visual Recognition},
author = {Zhongqi Yue and Tan Wang and Hanwang Zhang and Qianru Sun and Xian-Sheng Hua},
journal= {arXiv preprint arXiv:2103.00887},
year = {2021}
}
备注
Accepted by CVPR 2021