论深度学习模型的不稳定性与退化性
统计理论
2019-11-18 v3 统计理论
摘要
如果数据结果的微小变化导致概率发生巨大且通常不可预见的变化，则该概率模型表现出不稳定性。这种不稳定性是概率模型的性质，由分布形式和给定的参数配置决定。对于在多个应用领域中常见的相关数据结构，识别模型概率结构中的这种敏感性日益受到关注。我们考虑定义在观测序列上的一般概率模型的不稳定性量化问题，其中每个长度为 N 的序列在每个点上可取有限个可能值。由此产生以 N 为索引的概率模型序列，以及相应的适应数据维度扩展的参数序列。形式上，当此类模型下的某个对数概率比增长快于 N 时，即发生模型不稳定性。在这种情况下，数据序列中一个分量的变化可使概率改变数个数量级。此外，随着不稳定性变得更为极端，所得概率模型被证明趋于退化，将其所有概率置于样本空间中可能极小的部分上。这些关于不稳定性的结果适用于随机图、网络分析和机器学习环境中常用的大类模型。
引用
@article{arxiv.1612.01159,
title = {On the instability and degeneracy of deep learning models},
author = {Andee Kaplan and Daniel Nordman and Stephen Vardeman},
journal= {arXiv preprint arXiv:1612.01159},
year = {2019}
}
备注
28 pages, 1 figure