基于新型信息论损失函数的原型模型用于广义零样本学习
机器学习
2021-12-07 v1 计算机视觉与模式识别
摘要
广义零样本学习 (GZSL) 仍是深度学习的一项技术挑战，因为它必须在无目标类数据的情况下识别源类和目标类。为了在仅使用源类数据训练时保留源类与目标类之间的语义关系，我们从信息论视角出发量化知识迁移与语义关系。为此，我们遵循原型模型并将所关注变量格式化为概率向量。利用所提出的概率向量表示，互信息与熵等信息度量可用简单闭式有效评估。我们讨论了使用原型模型时公共嵌入空间与距离函数的选择。随后我们提出了三种用于确定性 GZSL 模型的信息论损失函数：用于桥接已见数据与目标类的互信息损失；用于防止用已见数据学习目标类嵌入时过拟合的不确定性感知熵约束损失；用于在将语义表示映射到公共空间时保留语义关系的语义保持交叉熵损失。仿真表明，作为确定性模型，我们提出的方法在 GZSL 基准数据集上取得了最先进的结果。相较基线模型——深度校准网络 (DCN)，我们实现了 21%–64% 的提升，并首次证明确定性模型可取得与生成式模型相当的性能。此外，我们提出的模型与生成式模型兼容。仿真研究表明，通过结合 f-CLSWGAN，我们取得了与先进生成式模型相当的结果。
引用
@article{arxiv.2112.03134,
title = {Prototypical Model with Novel Information-theoretic Loss Function for Generalized Zero Shot Learning},
author = {Chunlin Ji and Hanchu Shen and Zhan Xiong and Feng Chen and Meiying Zhang and Huiwen Yang},
journal= {arXiv preprint arXiv:2112.03134},
year = {2021}
}