基于知识增强视觉语义嵌入的零样本学习
计算机视觉与模式识别
2020-11-24 v1
摘要
我们通过将常识知识引入深度神经网络（DNN）来改进零样本学习（ZSL）。我们提出基于常识的神经符号损失（CSNL），其将先验知识表述为新颖的神经符号损失函数，以正则化视觉语义嵌入。CSNL迫使视觉语义嵌入中的视觉特征遵从与上位词和属性相关的常识规则。我们引入了两项关键创新以改进学习：（1）对一组概念而非单一概念强制规则，以考虑类间关系；（2）逻辑算子内部的置信度边界，其实现隐式课程学习并防止过早过拟合。我们评估了引入各知识源的优势，并在常规与广义ZSL中均显示出相对于先前最优方法的一致增益，例如在AWA2、CUB和Kinetics上分别提升11.5%、5.5%和11.6%。
引用
@article{arxiv.2011.10889,
title = {Zero-Shot Learning with Knowledge Enhanced Visual Semantic Embeddings},
author = {Karan Sikka and Jihua Huang and Andrew Silberfarb and Prateeth Nayak and Luke Rohrer and Pritish Sahu and John Byrnes and Ajay Divakaran and Richard Rohwer},
journal= {arXiv preprint arXiv:2011.10889},
year = {2020}
}