真实分布偏移下脑电机器学习模型潜空间鲁棒性与不确定性的评估
信号处理
2022-10-18 v2 机器学习
摘要
生物医学领域大型数据集的近期可用激发了面向多种医疗健康应用的表征学习方法的发展。尽管预测性能有所提升，这类方法在面临真实世界数据时其临床效用受限。本研究开发了模型诊断度量，以在部署前检测潜在缺陷，且无需假定可获取外部数据。具体而言，我们聚焦于通过数据变换对电生理信号（EEG）中的真实数据偏移进行建模，并在常规基于任务的评估之外，扩展分析 a) 模型潜空间以及 b) 这些变换下的预测不确定性。我们在多个 EEG 特征编码器和两个临床相关下游任务上使用公开可用的大规模临床 EEG 进行了实验。在该实验设定下，我们的结果表明，所提数据偏移下潜空间完整性与模型不确定性的度量或可帮助预见部署期间的性能退化。
引用
@article{arxiv.2209.11233,
title = {Evaluating Latent Space Robustness and Uncertainty of EEG-ML Models under Realistic Distribution Shifts},
author = {Neeraj Wagh and Jionghao Wei and Samarth Rawal and Brent M. Berry and Yogatheesan Varatharajah},
journal= {arXiv preprint arXiv:2209.11233},
year = {2022}
}
备注
NeurIPS 2022 camera ready version. Code available at https://github.com/neerajwagh/evaluating-eeg-representations. tl;dr - We develop model diagnostic measures to identify failure modes of EEG-ML models before deployment without access to out-of-distribution data. Keywords - dataset shift, EEG, representation learning, robustness, latent space, uncertainty quantification, distribution shift