预防胜于治疗：处理密集网络中的基崩溃与透明性
机器学习
2020-08-25 v1 机器学习
摘要
密集网络是任何分类与回归问题的重要组成部分。最近，这些网络作为各类领域中已知表示的求解器找到了新应用。然而，密集网络的一个关键问题是其特征可解释性以及多次训练运行间缺乏可复现性。在本文中，我们确定基崩溃问题是主要原因，并提出了一种改进的损失函数以规避该问题。我们还提供了一些通用准则，将激活函数的选择与损失面粗糙度以及设计低权值密集网络的适当缩放联系起来。我们通过精心选择的数值实验证明，基崩溃问题会导致设计高度冗余的网络。我们的方法得到了显著简洁的网络，参数减少 ，同时在规模上比先前工作报道实现了更低（）的 MSE 损失。此外，我们表明密集网络的宽度急剧依赖于特征复杂度。这与先前理论工作中报道的依赖于维度的宽度选择相反。据我们所知，这是首次报道并从实验上验证这些问题和矛盾。借助我们的设计准则，我们在低权值网络设计方面实现了透明性。我们共享了代码以保证完全可复现性，地址为 https://github.com/smjtguppta/Dense_Net_Regress。
引用
@article{arxiv.2008.09878,
title = {Prevention is Better than Cure: Handling Basis Collapse and Transparency in Dense Networks},
author = {Gurpreet Singh and Soumyajit Gupta and Clint N. Dawson},
journal= {arXiv preprint arXiv:2008.09878},
year = {2020}
}