视觉与语义原型联合引导的CNN用于广义零样本学习
机器学习
2019-08-15 v2 计算机视觉与模式识别
机器学习
摘要
在探索世界的过程中，好奇心不断驱使人类认知新事物。假设您是一位动物学家，对于呈现的一张动物图像，若知道其类别便可立即识别；否则，您更可能尝试利用已积累的侧面信息（如语义信息等）来认知它。受此启发，本文将广义零样本学习(G-ZSL)任务分解为开放集识别(OSR)任务和零样本学习(ZSL)任务，其中OSR识别已知类（若曾见过（或知道））并拒绝未知类（若从未见过（或知道）），而ZSL识别被前者拒绝的未知类。同时，在不违背OSR假设（训练中仅有已知类知识可用）的前提下，我们还首次尝试通过向OSR引入已知类积累的侧面信息，探索一种新的广义开放集识别(G-OSR)。对于G-ZSL，这种分解有效解决了类过拟合问题，即易将未知类误分类为已知类，该问题普遍存在于大多数现有G-ZSL方法中。另一方面，对于G-OSR，引入已知类的此类语义信息不仅提升了识别性能，还赋予OSR对未知类的认知能力。具体而言，提出一种视觉与语义原型联合引导的卷积神经网络(VSG-CNN)，在统一的端到端学习框架中完成这两项任务（G-ZSL与G-OSR）。在基准数据集上的大量实验证明了我们学习框架的优势。
引用
@article{arxiv.1908.03983,
title = {Visual and Semantic Prototypes-Jointly Guided CNN for Generalized Zero-shot Learning},
author = {Chuanxing Geng and Lue Tao and Songcan Chen},
journal= {arXiv preprint arXiv:1908.03983},
year = {2019}
}