数据集偏移下生物信号分类任务中不确定性量化的基准评测
机器学习
2022-01-26 v2
摘要
生物信号是指可对人体持续测量的信号，如呼吸音、心脏活动（ECG）、脑电波（EEG）等，基于这些信号，机器学习模型已被开发出来，在自动疾病检测和健康状况监测方面表现出非常好的性能。然而，数据集偏移（即推理时的数据分布不同于训练分布）在真实的基于生物信号的应用中并不少见。为提高鲁棒性，具有不确定性量化的概率模型被用于捕捉预测的可信度。然而，评估所估计不确定性的质量仍是一项挑战。在这项工作中，我们提出一个框架，用于评估所估计的不确定性在捕捉不同程度各类生物信号数据集偏移方面的能力。具体而言，我们基于呼吸音和心电图信号使用三个分类任务对五种代表性不确定性量化方法进行基准测试。大量实验表明，尽管集成（Ensemble）和贝叶斯（Bayesian）模型能在数据集偏移下提供相对更好的不确定性估计，但所有被测模型都未能达到可信预测和模型校准的预期。我们的工作为任何新开发的生物信号分类器的全面评估铺平了道路。
引用
@article{arxiv.2112.09196,
title = {Benchmarking Uncertainty Quantification on Biosignal Classification Tasks under Dataset Shift},
author = {Tong Xia and Jing Han and Cecilia Mascolo},
journal= {arXiv preprint arXiv:2112.09196},
year = {2022}
}
备注
Accepted by The 6th International Workshop on Health Intelligence (W3PHIAI-22)