通过占位符学习原型用于零样本识别
计算机视觉与模式识别
2022-08-01 v1
摘要
零样本学习（ZSL）旨在利用可见类与不可见类之间共享的语义描述来识别不可见类。现有方法表明，通过将语义嵌入投影到视觉空间作为类原型来学习视觉-语义对齐是有效的。然而，此类投影函数仅关注可见类。当应用于不可见类时，由于域偏移，原型往往表现欠佳。本文提出通过占位符学习原型，称为 LPL，以消除可见类与不可见类之间的域偏移。具体而言，我们组合可见类来幻觉出新类，这些新类在视觉与语义空间中充当不可见类的占位符。置于可见类之间，占位符促使可见类原型高度分散。并为插入分离良好的不可见类原型留出更多空间。经验上，分离良好的原型有助于抵消由域偏移引起的视觉-语义错位。此外，我们采用一种新颖的语义导向微调以保证占位符的语义可靠性。在五个基准数据集上的大量实验证明了 LPL 相较最先进方法的显著性能提升。代码见 https://github.com/zaiquanyang/LPL。
引用
@article{arxiv.2207.14581,
title = {Learning Prototype via Placeholder for Zero-shot Recognition},
author = {Zaiquan Yang and Yang Liu and Wenjia Xu and Chong Huang and Lei Zhou and Chao Tong},
journal= {arXiv preprint arXiv:2207.14581},
year = {2022}
}
备注
IJCAI2022