基于因子化神经网络的图像到情感形容词-名词对映射
计算机视觉与模式识别
2015-11-24 v1 计算与语言
摘要
我们考虑将图像映射至形容词-名词对（ANP，如“cute baby”）的视觉情感任务。为捕捉我们ANP语义的两因子结构并克服标注噪声与歧义，我们提出一种新颖的因子化CNN模型，该模型学习形容词和名词的分离表示，但对其乘积的分类性能进行优化。我们在公开可用的SentiBank数据集上的实验表明，我们的模型不仅显著优于在未见ANP上以及检索新颖ANP图像上的独立ANP分类器，而且也优于从自然文本共现中捕捉词语义的图像描述生成模型；后者在捕捉纯视觉体验所引发的情感方面出奇地差。也就是说，我们的因子化ANP CNN不仅从噪声标签中训练得更好、对新图像泛化更好，而且还能自行扩展ANP词汇表。
引用
@article{arxiv.1511.06838,
title = {Mapping Images to Sentiment Adjective Noun Pairs with Factorized Neural Nets},
author = {Takuya Narihira and Damian Borth and Stella X. Yu and Karl Ni and Trevor Darrell},
journal= {arXiv preprint arXiv:1511.06838},
year = {2015}
}