基于EmoWear数据的震动心电图情感识别研究
摘要
情绪对我们的日常生活影响深远，影响我们的思想、行为和交互方式，也影响我们的生理反应。但近年来， wearable technology 的进步促进了通过心肺信号研究情绪的可能性。加速度计提供了一种非侵入、便捷且经济实惠的方法来捕捉胸壁上由心脏和肺部引起的振动，具体包括 Seismocardiography (SCG) 和基于加速度计推导的呼吸 (Accelerometry-Derived Respiration, ADR)。它们的可负倘、广泛可用且能够提供丰富上下文数据的特性使其成为日常使用的理想选择。虽然加速度计已被用作更广泛模态融合的一部分用于情感识别 (ER)，但其作为单一模态的潜力尚未得到探索。弥合这一差距将显著有助于将 ER 嵌入实际应用，最小化硬件需求并增加上下文集成潜力。为此，我们引入 SCG 和 ADR 作为 ER 的新型模态，对其性能进行评估，使用 EmoWear 数据集。首先，我们复制了来自 DEAP 数据集研究的单试次情感分类管线，取得了类似结果。随后，我们使用经验证的管线训练模型，对比预测基于 SCG 的情感价 valence-arousal 状态，结果表明 SCG 是 ER 的可行模态，性能与心电图 (ECG) 和血容量脉搏 (BVP) 相似。通过将 ADR 与 SCG 结合，我们实现了一个仅需单一胸部佩戴加速度计即可工作的 ER 框架。这些发现为将 ER 融入实际生活的场景奠定了基础，使情感计算在日常生活中得以无缝集成。
引用
@article{arxiv.2412.00411,
title = {Seismocardiography for Emotion Recognition: A Study on EmoWear with Insights from DEAP},
author = {Mohammad Hasan Rahmani and Rafael Berkvens and Maarten Weyn},
journal= {arXiv preprint arXiv:2412.00411},
year = {2025}
}
备注
This work has been accepted for publication in IEEE Transactions on Affective Computing. Final version can be found at the provided DOI