具有校准不确定性的 5G 无人机干扰识别的准确可靠方法
人工智能
2022-11-08 v1 机器学习
摘要
仅提升准确率而不考虑不确定性，可能对深度神经网络（DNN）决策产生负面影响并降低其可靠性。本文提出五种预处理与后处理相结合的方法，用于时间序列二分类问题，可同时提升应用于 5G 无人机安全数据集的 DNN 输出的准确率与可靠性。这些技术以 DNN 输出为输入参数并以不同方式处理。两种方法使用知名机器学习（ML）算法作为补充，另三种仅使用 DNN 估计的置信值。我们比较了七种不同指标，如期望校准误差（ECE）、最大校准误差（MCE）、平均置信度（MC）、平均准确率（MA）、归一化负对数似然（NLL）、布里尔分数损失（BSL）与可靠性分数（RS），以及它们之间的权衡，以评估所提混合算法。首先，我们表明极端梯度提升（XGB）分类器在本工作所给条件下对二分类可能不可靠。其次，我们证明至少一种潜在方法能取得优于 DNN softmax 层分类的结果。最后，我们表明在假设 RS 决定 MC 与 MA 指标之差、且该差应为零以提升可靠性的基础上，这些前瞻方法可通过更好的不确定性校准来改进准确率与可靠性。例如，方法 3 取得了最佳的 RS 0.65，即便与 RS 为 7.22 的 XGB 分类器相比亦然。
引用
@article{arxiv.2211.02924,
title = {Accurate and Reliable Methods for 5G UAV Jamming Identification With Calibrated Uncertainty},
author = {Hamed Farkhari and Joseanne Viana and Pedro Sebastiao and Luis Miguel Campos and Luis Bernardo and Rui Dinis and Sarang Kahvazadeh},
journal= {arXiv preprint arXiv:2211.02924},
year = {2022}
}
备注
6 pages, 4 figures