用于多模态与部分模态缺失少样本学习的异卵条件变分自编码器
计算机视觉与模式识别
2021-06-29 v1 人工智能
摘要
数据增强是提升少样本分类任务性能的一种有力技术。它生成更多样本作为补充，从而可将此任务转化为常见的监督学习问题来求解。然而，大多数主流的基于数据增强的方法仅考虑单模态信息，导致生成特征的多样性和质量较低。本文提出一种新颖的多模态数据增强方法，称为异卵条件变分自编码器（DCVAE），以解决上述问题。DCVAE 以异卵共生方式配对两个具有相同种子但不同模态条件的条件变分自编码器（CVAEs）来进行特征合成。随后，两个 CVAEs 的生成特征被自适应地结合以产生最终特征，该特征可还原为其配对条件，同时确保这些条件在表示和功能上均与原条件一致。DCVAE 本质上通过利用不同模态先验信息的互补性，为各种多模态场景下的数据增强提供了新思路。大量实验结果表明，我们的工作在 miniImageNet、CIFAR-FS 和 CUB 数据集上取得了最先进的性能，并能在部分模态缺失情况下良好工作。
引用
@article{arxiv.2106.14467,
title = {Dizygotic Conditional Variational AutoEncoder for Multi-Modal and Partial Modality Absent Few-Shot Learning},
author = {Yi Zhang and Sheng Huang and Xi Peng and Dan Yang},
journal= {arXiv preprint arXiv:2106.14467},
year = {2021}
}
备注
13 pages