深度神经网络是否学习了随机过程？一个评估视角
机器学习
2025-01-28 v4 人工智能
摘要
本文首次系统性地研究了用于预测随机复杂系统演化的深度神经网络（DNN）的评估问题。我们表明，传统的评估方法，如基于阈值的分类指标和基于误差的评分规则，评估的是DNN复制观测到的真实值的能力，但未能衡量DNN对底层随机过程的学习程度。为弥补这一不足，我们提出了一种新的评估准则，称为随机过程保真度（F2SP），它代表了DNN预测系统属性Statistic-GT（随机过程的真实值）的能力，并引入了一种专门评估F2SP的评估指标。我们在随机框架内形式化了F2SP，并建立了有效测量它的标准。我们正式证明，期望校准误差（ECE）满足测试F2SP的必要条件，而传统评估方法则不然。在包括野火、宿主-病原体和股票市场模型在内的合成数据集上的实验表明，ECE能够唯一地捕捉F2SP。我们进一步将研究扩展到真实世界的野火数据，突出了传统评估的局限性，并讨论了将F2SP纳入模型评估的实际效用。这项工作通过强调捕捉底层随机过程的重要性，为评估建模复杂系统的DNN提供了新的视角。
引用
@article{arxiv.2402.15163,
title = {Has the Deep Neural Network learned the Stochastic Process? An Evaluation Viewpoint},
author = {Harshit Kumar and Beomseok Kang and Biswadeep Chakraborty and Saibal Mukhopadhyay},
journal= {arXiv preprint arXiv:2402.15163},
year = {2025}
}
备注
Published as a conference paper at ICLR 2025