量子化突触稀释增强深度网络中的稀疏编码与 dropout 正则化
机器学习
2020-09-29 v1 人工智能
机器学习
摘要
Dropout 是一种在训练深度网络时随机静默单元活动以减少过拟合的技术。在此我们引入量子化突触稀释（QSD），一种基于神经元突触量子化特性的具有生物学合理性的 dropout 正则化模型，其包含了囊泡量子响应幅度与释放概率的异质性。QSD 在 ReLU 多层感知机中优于标准 dropout，在测试时用恒等函数替换 dropout 掩码时增强了稀疏编码，且可训练权重或偏置分布无偏移。对于卷积网络，该方法在计算机视觉任务中也改善了泛化能力，无论是否包含其他形式的正则化。QSD 在语言建模与情感分析的循环网络中也优于标准 dropout。QSD 相对于许多 dropout 变体的一个优势是，它可普遍实现于所有适用标准 dropout 的常规深度网络中。
引用
@article{arxiv.2009.13165,
title = {Quantal synaptic dilution enhances sparse encoding and dropout regularisation in deep networks},
author = {Gardave S Bhumbra},
journal= {arXiv preprint arXiv:2009.13165},
year = {2020}
}
备注
23 pages, 8 figures, including Appendix