用于单样本学习的多级语义特征增强
计算机视觉与模式识别
2019-09-04 v4
摘要
从有限样本中快速识别和学习新视觉概念的能力使人类能够 swiftly 适应新环境。这种能力是通过将新概念与已经学习并存储在记忆中的概念进行语义关联而实现的。计算机可以通过利用语义概念空间来开始获得类似的能力。概念空间是一个高维语义空间，其中相似的抽象概念彼此接近，不相似的概念相距甚远。在本文中，我们提出了一种基于该思想的单样本学习新方法。我们的方法学习将新样本实例映射到概念，将该概念与概念空间中已有的概念相关联，并通过在概念之间插值来生成新实例以帮助学习。我们提议不直接合成新的图像实例，而是利用语义，通过使用我们称为双 TriNet 的新型自编码器网络直接合成实例特征。TriNet 的编码器部分学习将深度 CNN 的多层视觉特征（即多级概念）映射到语义向量。在语义空间中，我们搜索相关概念，然后由 TriNet 的解码器部分将其投影回图像特征空间。我们探索了语义空间中的两种策略。值得注意的是，这种看似简单的策略在图像特征空间中产生了复杂的增强特征分布，从而显著提升了性能。
引用
@article{arxiv.1804.05298,
title = {Multi-level Semantic Feature Augmentation for One-shot Learning},
author = {Zitian Chen and Yanwei Fu and Yinda Zhang and Yu-Gang Jiang and Xiangyang Xue and Leonid Sigal},
journal= {arXiv preprint arXiv:1804.05298},
year = {2019}
}
备注
The paper has been ACCEPTED for publication as a REGULAR paper in the IEEE Transactions on Image Processing