可解释张量融合
机器学习
2024-05-09 v1
摘要
传统机器学习方法主要设计用于基于单一数据类型预测结果。然而，实际应用可能包含多种类型的数据，如文本、图像和音频。我们引入了可解释张量融合（InTense），一种多模态学习方法，用于训练神经网络同时学习多模态数据表示及其可解释融合。InTense能够分别捕获不同数据类型的线性组合和乘法交互，从而将高阶交互与每种模态的个体效应分离开来。InTense通过为模态及其关联分配相关性分数，提供了开箱即用的可解释性。该方法具有理论基础，并在多个合成和真实世界数据集上产生了有意义的相关性分数。在六个真实世界数据集上的实验表明，InTense在准确性和可解释性方面优于现有的最先进多模态可解释方法。
引用
@article{arxiv.2405.04671,
title = {Interpretable Tensor Fusion},
author = {Saurabh Varshneya and Antoine Ledent and Philipp Liznerski and Andriy Balinskyy and Purvanshi Mehta and Waleed Mustafa and Marius Kloft},
journal= {arXiv preprint arXiv:2405.04671},
year = {2024}
}