视觉与语言研究融合的趋势：任务、数据集与方法的综述
计算机视觉与模式识别
2022-01-04 v3 计算与语言
机器学习
摘要
近年来，对人工智能（AI）及其应用的兴趣呈现前所未有的增长。这一成功部分归功于机器学习、计算机视觉和自然语言处理等 AI 子领域的进展。这些领域的诸多发展得益于深度学习——机器学习中使用人工神经网络的一个子领域。这引发了人们对视觉与语言融合的浓厚兴趣。在本综述中，我们聚焦于十个融合语言与视觉的重要任务，讨论其问题表述、方法、现有数据集、评估指标，并与相应最先进方法所得结果进行比较。我们的工作超越了早期的综述，那些综述或是针对特定任务，或仅关注一种视觉内容（即图像或视频）。此外，我们还提供了该研究领域的一些潜在未来方向，期望本综述能激发创新思路，以应对现有挑战并构建新应用。
引用
@article{arxiv.1907.09358,
title = {Trends in Integration of Vision and Language Research: A Survey of Tasks, Datasets, and Methods},
author = {Aditya Mogadala and Marimuthu Kalimuthu and Dietrich Klakow},
journal= {arXiv preprint arXiv:1907.09358},
year = {2022}
}
备注
Published at the Journal of Artificial Intelligence Research (JAIR); 135 pages