多模态深度学习
计算与语言
2023-01-13 v1 机器学习
机器学习
摘要
本书源于一次研讨会，我们在会上回顾了多模态方法，并试图创建该领域的坚实概述，首先分别介绍了深度学习两个子领域当前的 SOTA 方法。此外，讨论了将一种模态转换为另一种模态的建模框架，以及利用一种模态来增强另一种模态表示学习的模型。在第二部分的结尾，介绍了侧重于同时处理两种模态的架构。最后，我们还涵盖了其他模态以及通用多模态模型，这些模型能够在统一架构中处理不同模态的不同任务。一个有趣的应用（生成艺术）最终为本书画上了句号。
引用
@article{arxiv.2301.04856,
title = {Multimodal Deep Learning},
author = {Cem Akkus and Luyang Chu and Vladana Djakovic and Steffen Jauch-Walser and Philipp Koch and Giacomo Loss and Christopher Marquardt and Marco Moldovan and Nadja Sauter and Maximilian Schneider and Rickmer Schulte and Karol Urbanczyk and Jann Goschenhofer and Christian Heumann and Rasmus Hvingelby and Daniel Schalk and Matthias Aßenmacher},
journal= {arXiv preprint arXiv:2301.04856},
year = {2023}
}