用于图像与文本分类的有监督多模态双向Transformer模型
计算与语言
2020-11-13 v2 计算机视觉与模式识别
机器学习
机器学习
摘要
诸如 BERT 之类的自监督双向 Transformer 模型已在各种文本分类任务中带来了显著的改进。然而，现代数字世界正日益多模态化，文本信息通常伴随着图像等其他模态。我们引入了一种有监督的多模态双向 Transformer 模型，该模型融合了来自文本和图像编码器的信息，并在各种多模态分类基准任务上取得了最先进的性能，超越了强大的基线模型，包括在专门设计用于衡量多模态性能的困难测试集上。
引用
@article{arxiv.1909.02950,
title = {Supervised Multimodal Bitransformers for Classifying Images and Text},
author = {Douwe Kiela and Suvrat Bhooshan and Hamed Firooz and Ethan Perez and Davide Testuggine},
journal= {arXiv preprint arXiv:1909.02950},
year = {2020}
}
备注
Rejected from EMNLP, twice