HADUA：用于稳健跨主体情感识别的层次化注意力与动态统一对齐
多媒体
2026-01-30 v1
摘要
从多模态生理信号进行稳健跨主体情感识别仍是一个具有挑战性的问题，主要由于模态异构性和主体分布迁移。为解决这些问题，我们提出一种名为层次化注意力与动态统一对齐 (HADUA) 的新型自适应学习框架。我们的方案统一了多模态表征学习与域适应。首先，我们设计了层次化注意力模块，显式建模 intra-modal 时间动态和 inter-modal 语义相互作用（例如，在脑电图 (EEG) 和眼动 (EM) 之间），生成判别性且语义连贯的融合特征。其次，为克服伪标签在适应期间固有的噪声，我们引入基于置信度的高斯加权方案，通过对不确定实例进行降权来平滑来自目标域样本的监督。最后，采用统一对齐损失正规化伪标签在类别中的分布，从而缓解不平衡并稳定条件分布匹配。大量实验表明，HADUA 在多个跨主体情感识别基准测试上在准确率和鲁棒性方面 consistently 超越现有最先进方法，验证了其在处理模态间隙、噪声伪标签和类别不平衡方面的有效性。总体而言，这些贡献为构建稳健的跨主体情感计算系统提供了实用且可推广的解决方案。
引用
@article{arxiv.2601.21488,
title = {HADUA: Hierarchical Attention and Dynamic Uniform Alignment for Robust Cross-Subject Emotion Recognition},
author = {Jiahao Tang and Youjun Li and Yangxuan Zheng and Xiangting Fan and Siyuan Lu and Nuo Zhang and Zi-Gang Huang},
journal= {arXiv preprint arXiv:2601.21488},
year = {2026}
}