深度学习中的数据分离定律

尽管深度学习在许多科学领域取得了显著进展，但其黑箱特性阻碍了面向未来人工智能应用的架构设计以及高风险决策的 interpretability。我们通过研究深度神经网络在中间层如何处理数据这一基本问题来解决该问题。我们的发现是一条简单且定量的定律，它支配着分类任务中深度神经网络在所有层根据类别归属对数据进行分离的过程。该定律表明，每一层以恒定的几何速率改善数据分离，并且其在训练过程中于一系列网络架构和数据集上被观察到涌现。该定律为设计架构、提升模型鲁棒性与样本外性能，以及解释预测提供了实用指导。