像孩子一样学习：从图像句子描述中快速学习新视觉概念
计算机视觉与模式识别
2015-10-05 v2 计算与语言
机器学习
摘要
在本文中，我们解决了从带有句子描述的少量图像中学习新视觉概念及其与其他概念交互的任务。利用语言上下文和视觉特征，我们的方法能够高效假设新词的语义并将其添加到词字典中，从而可用于描述包含这些新概念的图像。我们的方法具有一个基于m-RNN的图像描述生成模块，并做了若干改进。特别地，我们提出了一种转置权重共享方案，其不仅提升了图像描述生成的性能，还使模型更适用于新概念学习任务。我们提出了防止新概念过拟合的方法。此外，为此新任务构建了三个新概念数据集。在实验中，我们展示了我们的方法能从少量样本有效学习新视觉概念而不干扰先前学到的概念。项目页面为 http://www.stat.ucla.edu/~junhua.mao/projects/child_learning.html
引用
@article{arxiv.1504.06692,
title = {Learning like a Child: Fast Novel Visual Concept Learning from Sentence Descriptions of Images},
author = {Junhua Mao and Wei Xu and Yi Yang and Jiang Wang and Zhiheng Huang and Alan Yuille},
journal= {arXiv preprint arXiv:1504.06692},
year = {2015}
}
备注
ICCV 2015 camera ready version. We add much more novel visual concepts in the NVC dataset and have released it, see http://www.stat.ucla.edu/~junhua.mao/projects/child_learning.html