CoRe-Sleep：一种对不完美模态具有鲁棒性的多模态融合时间序列框架
信号处理
2023-04-14 v1 人工智能
机器学习
摘要
睡眠异常可引发严重的健康后果。自动化睡眠分期，即从患者的生理记录中标注睡眠阶段的序列，可简化诊断流程。以往关于自动化睡眠分期的研究已取得优异结果，主要依赖 EEG 信号。然而，除 EEG 外通常还可获得多种信息源。当 EEG 记录存在噪声甚至完全缺失时，这一点尤为有益。本文提出 CoRe-Sleep，一种协调表征（Coordinated Representation）多模态融合网络，特别侧重于提升在不完美数据上信号分析的鲁棒性。我们展示了恰当处理多模态信息如何成为实现此类鲁棒性的关键。CoRe-Sleep 可容忍有噪声或缺失的模态片段，从而允许在不完整数据上训练。此外，在使用单一模型对 SHHS-1（包含睡眠分期标签的最大公开研究）进行多模态与单模态数据测试时，其均表现出最先进的性能。结果表明，在多模态数据上训练模型确实会对单模态测试性能产生正向影响。本研究旨在缩小自动化分析工具与其临床效用之间的差距。
引用
@article{arxiv.2304.06485,
title = {CoRe-Sleep: A Multimodal Fusion Framework for Time Series Robust to Imperfect Modalities},
author = {Konstantinos Kontras and Christos Chatzichristos and Huy Phan and Johan Suykens and Maarten De Vos},
journal= {arXiv preprint arXiv:2304.06485},
year = {2023}
}
备注
10 pages, 4 figures, 2 tables, journal