F1-EV 分数：衡量为半监督异常检测估计良好决策阈值的可能性
声音
2023-12-15 v1 音频与语音处理
摘要
异常声音检测 (ASD) 系统通常使用与阈值无关的性能指标（如 AUC-ROC）进行比较。然而，在实际应用中，需要一个决策阈值来判断给定的测试样本是正常还是异常。在仅有正常训练样本可用的半监督设置中，估计此类阈值是非常困难的。在本工作中，我们提出并论证了一种名为 F1-EV 的新型 ASD 系统性能指标，该指标与阈值无关，同时包含了估计良好决策阈值的可能性，并通过具体的玩具示例进行了说明。在实验评估中，我们对提交至 DCASE Challenge 2023 ASD 任务的所有系统评估了多种性能指标。结果表明，F1-EV 与 AUC-ROC 高度相关，但与使用估计和最优决策阈值获得的 F1 分数的相关性显著强于 AUC-ROC。
引用
@article{arxiv.2312.09143,
title = {F1-EV Score: Measuring the Likelihood of Estimating a Good Decision Threshold for Semi-Supervised Anomaly Detection},
author = {Kevin Wilkinghoff and Keisuke Imoto},
journal= {arXiv preprint arXiv:2312.09143},
year = {2023}
}
备注
Accepted for presentation at IEEE ICASSP 2024