基于有效自由度测量神经网络复杂度
天体物理仪器与方法
2026-02-17 v1
摘要
量化前馈神经网络（FFNN）的复杂度仍具有挑战性 due to其非线性、层次化结构和大量参数。我们应用广义自由度（GDF）来衡量FFNN中模型复杂度的指标，针对二元结果适应离散响应的算法。我们将GDF与通过对数似然交叉验证派生的有效参数数目以及Landsittel等人提出的空值自由度进行比较。通过仿真研究和真实数据分析，我们展示GDF为神经网络模型提供稳健的复杂度评估，因为其仅取决于拟合值对观察响应扰动的敏感性，而非对似然分布的假设。在 contrast下，基于交叉验证的模型复杂度估计和空值自由度依赖于所假设似然分布的正确性，可能 exhibits 显著变动性。我们发现，只有当拟合模型充分代表数据生成机制时，GDF、基于交叉验证的措施和空值自由度才会对模型复杂度给出相似的评估。这一发现突显了GDF作为神经网络统计建模中稳定且广泛适用的复杂度度量。
引用
@article{arxiv.2602.13441,
title = {Updated Sensitivities of the Five STIS L-mode Gratings},
author = {Amy M. Jones and Svea Hernandez and Joleen K. Carlberg and Daniel Welty},
journal= {arXiv preprint arXiv:2602.13441},
year = {2026}
}
备注
27 pages, 8 figures, 2 tables