中文

aiTPR:用于图像描述生成的属性交互张量积表示

神经与进化计算 2020-01-28 v1 计算机视觉与模式识别 机器学习 多媒体

摘要

区域视觉特征增强了基于特征的机器的生成能力,然而它们缺乏恰当的交互注意力感知,从而最终产生有偏或无关的语句或错误信息片段。本工作中,我们提出属性交互张量积表示(aiTPR),这是一种通过正交组合收集更多信息、将交互作为物理实体(张量)学习并改善描述生成的便捷方式。相较于先前将特征相加至未定义特征空间的工作,TPR有助于在组合中保持合理性,而正交性有助于定义熟悉的空间。我们引入了一个新的概念层,用于定义对象及其交互,这在确定不同描述时可起关键作用。交互部分对更好的描述质量贡献显著,并在该领域及MSCOCO数据集上超越了多种先前工作。我们首次引入了将区域图像特征与抽象交互似然嵌入相结合用于图像描述生成的概念。

关键词

引用

@article{arxiv.2001.09545,
  title  = {aiTPR: Attribute Interaction-Tensor Product Representation for Image Caption},
  author = {Chiranjib Sur},
  journal= {arXiv preprint arXiv:2001.09545},
  year   = {2020}
}

备注

11 pages