基于对齐变分自编码器的广义零样本与少样本学习
计算机视觉与模式识别
2019-04-08 v4 人工智能
机器学习
摘要
广义零样本学习中的许多方法依赖于图像特征空间与类别嵌入空间之间的跨模态映射。由于标注图像代价高昂，一个方向是通过生成图像或图像特征来扩充数据集。然而，前者缺失细粒度细节，后者需要学习与类别嵌入相关的映射。在本工作中，我们将特征生成更进一步，提出一种模型，其中图像特征与类别嵌入的共享潜在空间由模态特定的对齐变分自编码器学习。这使我们在潜在特征中保留关于图像与类别所需的判别信息，并在其上训练 softmax 分类器。我们方法的关键在于对齐从图像与从侧信息学习到的分布，以构建包含与未见类别相关的本质多模态信息的潜在特征。我们在多个基准数据集（即 CUB、SUN、AWA1 和 AWA2）上评估我们所学的潜在特征，并在广义零样本以及少样本学习上确立了新的 SOTA。此外，我们在具有各种零样本划分的 ImageNet 上的结果表明，我们的潜在特征在大规模设置中泛化良好。
引用
@article{arxiv.1812.01784,
title = {Generalized Zero- and Few-Shot Learning via Aligned Variational Autoencoders},
author = {Edgar Schönfeld and Sayna Ebrahimi and Samarth Sinha and Trevor Darrell and Zeynep Akata},
journal= {arXiv preprint arXiv:1812.01784},
year = {2019}
}
备注
Accepted at CVPR 2019