AnANet：为跨模态相关性分类建模关联与对齐
计算机视觉与模式识别
2021-09-03 v1 人工智能
摘要
多模态数据的爆炸式增长使得许多遵循严格先验相关假设的跨模态应用需求巨大。因此研究者界定了跨模态相关性类别，并构建了各类分类系统与预测模型。然而，这些系统更关注细粒度相关类型的跨模态相关性，忽略了大量常被归入不相关类型的隐式相关数据。更糟糕的是，先前的预测模型在建模阶段均未按其定义揭示跨模态相关性的本质。本文对图文相关性进行了全面分析，并基于隐式关联与显式对齐重新定义了一套分类系统。为预测图文相关性类型，我们依据所提定义提出关联与对齐网络（即 AnANet），其隐式表示图像与文本间的全局差异与共性，并显式捕捉跨模态局部相关性。在我们构建的新图文相关性数据集上的实验结果展示了模型的有效性。
引用
@article{arxiv.2109.00693,
title = {AnANet: Modeling Association and Alignment for Cross-modal Correlation Classification},
author = {Nan Xu and Junyan Wang and Yuan Tian and Ruike Zhang and Wenji Mao},
journal= {arXiv preprint arXiv:2109.00693},
year = {2021}
}