用于深度学习的组合设计
组合数学
2020-05-11 v3
摘要
深度学习是一种使用多层神经网络的机器学习方法。多层神经网络可视为完全二部图的链。第一部集的节点为输入层，最后为输出层。二部图的边作为权重，以矩阵表示。第i部集的值由权重矩阵与第(i-1)部集的值相乘计算。利用大量训练与教师数据，权重参数被逐步估计。过拟合（或过学习）指模型对“训练数据”拟合过好。随后模型难以泛化到未出现在训练集中的新数据。避免过拟合最流行的方法称为dropout。Dropout在训练过程中将随机样本的激活（节点）置零。随机样本节点导致dropout边的频率更不规则。在实验设计领域有类似的抽样概念。我们提出一种对各部集上dropout节点的组合设计，以平衡边的频率。本文分析并构造此类设计。
引用
@article{arxiv.1809.08404,
title = {Combinatorial Designs for Deep Learning},
author = {Shoko Chisaki and Ryoh Fuji-Hara and Nobuko Miyamoto},
journal= {arXiv preprint arXiv:1809.08404},
year = {2020}
}