基于全局工作空间理论的多模态数据融合
机器学习
2020-09-22 v2 机器学习
摘要
我们提出了一种新颖的神经网络架构，称为全局工作空间网络（GWN），它解决了多模态数据融合中动态且未指定的不确定性挑战。我们的 GWN 是一种跨模态并随时间演化的注意力模型，其灵感来自认知科学领域成熟的全局工作空间理论。GWN 在区分疼痛患者与健康参与者时达到了 0.92 的平均 F1 分数，在对患者的三个疼痛等级进一步分类时达到了平均 F1 分数 = 0.75，两者均基于从慢性疼痛患者和健康人在无约束环境中执行不同类型运动采集的多模态 EmoPain 数据集。在这些任务中，GWN 显著优于通过拼接合并的典型融合方法。我们进一步对 GWN 的行为及其处理多模态数据中不确定性（隐藏噪声）的能力提供了广泛分析。
引用
@article{arxiv.2001.09485,
title = {Multimodal Data Fusion based on the Global Workspace Theory},
author = {Cong Bao and Zafeirios Fountas and Temitayo Olugbade and Nadia Bianchi-Berthouze},
journal= {arXiv preprint arXiv:2001.09485},
year = {2020}
}
备注
12 pages, 5 figures