面向多模态少样本学习的自步对抗训练
计算机视觉与模式识别
2018-11-26 v1 机器学习
多媒体
摘要
最先进的深度学习算法在许多视觉识别任务中取得了显著成果。然而，在数据稀缺情形下它们仍无法提供令人满意的结果。在某种程度上，这种数据缺失可由多模态信息弥补。单个数据点某一模态（如图像）中缺失的信息可由另一模态（如文本描述）补偿。因此，我们设计了一种少样本学习任务：训练时多模态（即图像与文本），测试时单模态（即图像）。为此，我们提出了一种在少样本学习背景下融合多模态的自步类判别生成对抗网络。所提方法基于跨模态数据生成的思路，以缓解数据稀疏问题。我们在细粒度 CUB 和 Oxford-102 数据集上提升了少样本学习的准确率。
引用
@article{arxiv.1811.09192,
title = {Self Paced Adversarial Training for Multimodal Few-shot Learning},
author = {Frederik Pahde and Oleksiy Ostapenko and Patrick Jähnichen and Tassilo Klein and Moin Nabi},
journal= {arXiv preprint arXiv:1811.09192},
year = {2018}
}
备注
To appear at WACV 2019