使用卷积伪词的多模态Skip-gram
计算与语言
2015-12-01 v2 计算机视觉与模式识别
摘要
本研究研究多模态数据之间的表征映射，使得给定一种模态的原始数据，能立即获得另一种模态原始数据对应的语义描述。这种表征映射可广泛应用于图像/视频检索、物体识别、动作/行为识别以及事件理解与预测等现实应用。为此，我们引入一种简化训练目标，利用skip-gram架构学习多模态嵌入，通过引入卷积“伪词”：由分布式词表示与卷积神经网络图像特征加性组合并投影到多模态空间的嵌入。我们在各种词相似度基准上展示了这些嵌入的表征属性广泛结果，以表明该方法的前景。
引用
@article{arxiv.1511.04024,
title = {Multimodal Skip-gram Using Convolutional Pseudowords},
author = {Zachary Seymour and Yingming Li and Zhongfei Zhang},
journal= {arXiv preprint arXiv:1511.04024},
year = {2015}
}