H2G2-Net：用于发现多模态生理响应的分层异构图生成网络框架
机器学习
2024-11-05 v2 人工智能
信号处理
摘要
利用多模态生理信号发现人类认知和情绪状态引起了各种研究应用的关注。人体生理反应受人类认知影响，常被用于分析认知状态。从网络科学的角度来看，这些异质生理模态在图结构中的相互作用可能提供有益信息以支持认知状态预测。然而，目前尚无线索可推导异质模态间的确切连接，且子模态之间存在分层结构。现有的图神经网络旨在预定义图结构的非分层同质图上学习；它们未能从无预定义图结构的分层多模态生理数据中学习。为此，我们提出了一种分层异构图生成网络 (H2G2-Net)，该网络无需领域知识即可自动学习图结构，并以端到端方式在分层异构图上获得强大的表示。我们在由多模态生理信号组成的 CogPilot 数据集上验证了所提方法。大量实验表明，我们提出的方法在预测准确率上优于最先进的 GNNs 5%-20%。
引用
@article{arxiv.2401.02905,
title = {H2G2-Net: A Hierarchical Heterogeneous Graph Generative Network Framework for Discovery of Multi-Modal Physiological Responses},
author = {Haidong Gu and Nathan Gaw and Yinan Wang and Chancellor Johnstone and Christine Beauchene and Sophia Yuditskaya and Hrishikesh Rao and Chun-An Chou},
journal= {arXiv preprint arXiv:2401.02905},
year = {2024}
}
备注
Paper accepted in Human-Centric Representation Learning workshop at AAAI 2024 (https://hcrl-workshop.github.io/2024/)