面向压力状态下唤醒度的生理学适配金标准
计算机视觉与模式识别
2021-07-30 v2 机器学习
声音
信号处理
摘要
情绪是一种固有的主观心理生理人类状态，要产生一个公认的连续情绪表征（金标准）需要对多个人类标注者进行耗时且昂贵的训练过程。文献中有强有力的证据表明，生理信号是情绪状态（尤其是唤醒度）充分的客观标记。在本文中，我们利用一个包含连续情绪与生理信号——每分钟心跳数（BPM）、皮肤电活动（EDA）和呼吸频率——的数据集，这些信号在诱发压力的场景（特里尔社会压力测试）中采集。我们利用长短期记忆循环神经网络，以唤醒度为目标，融合这些生理信号，并从各类音频、视频和基于文本的特征中学习，来探索融合的益处。我们利用最先进的MuSe-Toolbox，在融合目标信号时同时考虑标注延迟与评分者间一致性加权。与仅以唤醒度为金标准的结果相比，将EDA与唤醒度融合后，各特征集的一致相关系数（CCC）均有提升。此外，基于BERT的文本特征在唤醒度加全部生理信号下的结果有所改善，达到最高0.3344 CCC，而仅唤醒度为0.2118 CCC。多模态融合也提升了整体CCC，音频加视频特征最高达到0.6157 CCC以识别唤醒度加EDA与BPM。
引用
@article{arxiv.2107.12964,
title = {A Physiologically-Adapted Gold Standard for Arousal during Stress},
author = {Alice Baird and Lukas Stappen and Lukas Christ and Lea Schumann and Eva-Maria Meßner and Björn W. Schuller},
journal= {arXiv preprint arXiv:2107.12964},
year = {2021}
}