基于模糊精确率与召回率评估针对软标签的分类系统
音频与语音处理
2023-09-26 v1 机器学习
声音
摘要
分类系统通常通过最小化系统输出与参考标签之间的交叉熵来训练，这使得 Kullback-Leibler 散度成为衡量系统能在多大程度上贴合数据的自然选择。精确率与召回率提供了衡量分类系统性能的另一种视角。非二值参考可源于多种来源，且使用软标签而非二值化数据进行训练往往更有利。然而，现有的精确率与召回率定义要求二值参考标签，而将数据二值化会导致错误的解读。我们提出了一种无需量化数据即可计算精确率、召回率与 F 值的新方法。所提度量扩展了既有的成熟度量，因为当用于二值标签时定义一致。为理解这些度量的行为，我们展示了简单示例案例，以及对在真实软标签数据上训练的不同声音事件检测模型的评估。
引用
@article{arxiv.2309.13938,
title = {Evaluating Classification Systems Against Soft Labels with Fuzzy Precision and Recall},
author = {Manu Harju and Annamaria Mesaros},
journal= {arXiv preprint arXiv:2309.13938},
year = {2023}
}
备注
published in DCASE 2023