面向智能数据分析的多模态与跨模态 AI
人工智能
2022-09-07 v1 计算机视觉与模式识别
信息检索
多媒体
摘要
近年来，多模态和跨模态 AI 技术引起了各界的关注。前者旨在收集 disjointed 且异构的数据以补偿互补信息从而增强鲁棒预测。后者旨在通过发现模态间共同的注意力共享，利用一种模态预测另一种模态。尽管两种方法有着相同的目标：从收集的原始数据中生成智能数据，前者需要更多模态而后者旨在减少模态的多样性。本文首先一般性讨论多模态和跨模态 AI 在智能数据分析中的作用。然后，我们引入多模态和跨模态 AI 框架（MMCRAI）以平衡上述方法并使其易于扩展到不同领域。该框架已集成到 xDataPF（跨数据平台 https://www.xdata.nict.jp/）中。我们还介绍并讨论了基于该框架和 xDataPF 构建的各种应用。
引用
@article{arxiv.2209.01308,
title = {Multimodal and Crossmodal AI for Smart Data Analysis},
author = {Minh-Son Dao},
journal= {arXiv preprint arXiv:2209.01308},
year = {2022}
}