看见你的睡眠阶段：从 EEG 到红外视频的跨模态蒸馏

Jianan Han; Shaoxing Zhang; Aidong Men; Yang Liu; Ziming Yao; Yan Yan; Qingchao Chen

看见你的睡眠阶段：从 EEG 到红外视频的跨模态蒸馏

计算机视觉与模式识别 2022-08-12 v1 人工智能多媒体

作者: Jianan Han , Shaoxing Zhang , Aidong Men , Yang Liu , Ziming Yao , Yan Yan , Qingchao Chen

摘要

对各种疾病的诊断而言，睡眠阶段分类不可避免地至关重要。然而，现有的自动化诊断方法大多采用医院中多导睡眠图（PSG）机器的“金标准”脑电图（EEG）或其他单模态传感信号，它们昂贵、不便携，因此不适合家庭中的即时监测。为实现家庭中的睡眠阶段监测，本文分析了红外视频与 EEG 信号之间的关系，并提出了一项新任务：通过从 EEG 信号向视觉信号蒸馏有用知识，利用红外视频对睡眠阶段进行分类。为此应用建立可靠的跨模态基准，我们构建了一个称为通过红外视频与 EEG 看见你的睡眠阶段（ $S^3VE$ ）的新数据集。 $S^3VE$ 是一个大规模数据集，包含用于睡眠阶段分类的同步红外视频与 EEG 信号，涵盖105名受试者与154,573个视频片段，总时长超过1100小时。我们的贡献不仅限于数据集，还包括一种称为结构感知对比蒸馏（SACD）的新型跨模态蒸馏基线模型，用于将 EEG 知识蒸馏至红外视频特征。SACD 在我们的 $S^3VE$ 及现有跨模态蒸馏基准上均取得了最先进的性能。该基准与基线方法将向社区发布。我们期望能引起更多关注，并推动睡眠阶段分类以及更重要的是从临床信号/媒体到常规媒体的跨模态蒸馏的更多发展。

关键词

睡眠阶段分类红外视频 EEG 跨模态蒸馏 $S^3VE$ 数据集结构感知对比蒸馏

引用

@article{arxiv.2208.05814,
  title  = {Seeing your sleep stage: cross-modal distillation from EEG to infrared video},
  author = {Jianan Han and Shaoxing Zhang and Aidong Men and Yang Liu and Ziming Yao and Yan Yan and Qingchao Chen},
  journal= {arXiv preprint arXiv:2208.05814},
  year   = {2022}
}

备注

We have submitted this paper to an academic journal

看见你的睡眠阶段：从 EEG 到红外视频的跨模态蒸馏

摘要

关键词

引用

备注

相关论文