高效-Husformer：应用于压力和认知负荷的高效多模态 Transformer 超参数优化
机器学习
2025-12-01 v1
摘要
Transformer 模型在生理信号分析领域受到广泛关注。它们利用长程依赖和复杂模式，允许其在时序信号上实现优于传统 RNN 和 CNN 模型的性能。然而，它们需要高计算强度和内存需求。在本工作中，我们提出了 Efficient-Husformer，这是一个针对多类别压力检测开发的基于 Transformer 的架构，采用超参数优化(HPO)方法，对两个多模态生理数据集(WESAD 和 CogLoad)进行测试。本工作的主要贡献包括：(1) 设计了针对有效超参数优化的结构化搜索空间；(2) 全面地进行消融研究，评估架构决策的影响；(3) 在 WESAD 和 CogLoad 数据集上 consistently 实现性能提升，最佳配置在 WESAD 上达到 88.41% 的准确率，在 CogLoad 上达到 92.61% 的准确率(分别提升了 13.83% 和 6.98%)。最佳性能配置采用 (L + dm) 或 (L + FFN) 模态组合，使用单个层、3 个注意力头、模型维度为 18/30、FFN 维度为 120/30， resulting in a compact model with only about 30k parameters。
引用
@article{arxiv.2511.22362,
title = {Efficient-Husformer: Efficient Multimodal Transformer Hyperparameter Optimization for Stress and Cognitive Loads},
author = {Merey Orazaly and Fariza Temirkhanova and Jurn-Gyu Park},
journal= {arXiv preprint arXiv:2511.22362},
year = {2025}
}