尺度分离与若干CNN中特征学习的热力学描述
机器学习
2022-09-26 v3 机器学习
数据分析、统计与概率
摘要
深度神经网络（DNNs）是压缩与提炼信息的强大工具。其规模与复杂性（常涉及数十亿相互依赖的参数）使得直接的微观分析十分困难。在此情形下，一种常见策略是识别慢变量，以平均快微观变量的无序行为。本文中，我们识别出在完全训练好的有限过参数化深度卷积神经网络（CNNs）与全连接网络（FCNs）中出现的类似尺度分离现象。具体而言，我们表明 DNN 各层仅通过其激活值与预激活值的二阶矩（核）相耦合。此外，后者以近乎高斯的方式涨落。对于无限宽 DNN，这些核是惰性的；而对于有限宽 DNN，它们适应数据并给出可处理的、感知数据的高斯过程。所得深度学习热力学理论在多种设定下给出准确预测。此外，它为一般性地分析与理解 DNN 提供了新途径。
引用
@article{arxiv.2112.15383,
title = {Separation of Scales and a Thermodynamic Description of Feature Learning in Some CNNs},
author = {Inbar Seroussi and Gadi Naveh and Zohar Ringel},
journal= {arXiv preprint arXiv:2112.15383},
year = {2022}
}