婴儿睡/醒状态分类：基于音频、ECG与IMU数据的大规模预训练Transformer网络间的交叉注意力
多媒体
2023-06-29 v1 声音
音频与语音处理
信号处理
摘要
婴儿睡眠对脑与行为发育至关重要。既往关于婴儿睡/醒分类的研究大多局限于依赖实验室中昂贵且繁重的多导睡眠图（PSG）检测，或收集单模态数据的可穿戴设备。为促进数据收集与检测准确性，我们旨在通过使用多模态可穿戴设备LittleBeats（LB）在28名婴儿队列中收集音频、心电图（ECG）与惯性测量单元（IMU）数据来推进该研究领域。我们采用了一种三分支（音频/ECG/IMU）的基于大规模Transformer的神经网络（NN）来展示此类多模态数据的潜力。我们先用各自模态独立预训练每个分支，随后通过将预训练的Transformer层与交叉注意力融合来微调模型。我们表明，与使用单一模态（准确率 = 0.732）相比，多模态数据显著改善了睡/醒分类（准确率 = 0.880）。我们的多模态中层融合方法可适用于多种架构与任务，拓展了婴儿行为研究的未来方向。
引用
@article{arxiv.2306.15808,
title = {Classification of Infant Sleep/Wake States: Cross-Attention among Large Scale Pretrained Transformer Networks using Audio, ECG, and IMU Data},
author = {Kai Chieh Chang and Mark Hasegawa-Johnson and Nancy L. McElwain and Bashima Islam},
journal= {arXiv preprint arXiv:2306.15808},
year = {2023}
}
备注
Preprint for APSIPA2023