提升神经网络可学习性：添加辅助轴以解耦数据表示
机器学习
2019-04-08 v1 机器学习
摘要
过度参数化的深度神经网络已被证明能够以100%的训练准确率学习任意数据集。由于过拟合风险与计算成本问题，若想在医学图像上取得更好的训练结果，我们无法负担增加网络节点数量的开销。先前的深度学习研究表明，当向网络中添加少量带有辅助信息的节点时，神经网络的训练能力（在相同训练轮数下）会显著提升。这些少量信息丰富的节点通过生成解耦的数据表示，使网络能够学习到原本难以学习的特征。本文分析了将额外信息作为辅助轴进行拼接如何影响神经网络的训练。该分析在一个简单的多层感知机（MLP）分类模型上展开，该模型使用修正线性单元（ReLU）处理二维训练数据。我们对比了有和无辅助信息拼接的网络以支持我们的分析。与无拼接的模型相比，有拼接的模型展现出更鲁棒且更精确的训练结果。我们还确认，我们的发现对于使用超声图像的更深卷积神经网络（CNN）以及使用MNIST数据的条件生成对抗网络（cGAN）同样成立。
引用
@article{arxiv.1902.04205,
title = {Improving learnability of neural networks: adding supplementary axes to disentangle data representation},
author = {Bukweon Kim and Sung Min Lee and Jin Keun Seo},
journal= {arXiv preprint arXiv:1902.04205},
year = {2019}
}