用于时间序列无监督学习的带延迟剪枝正则化动态玻尔兹曼机
机器学习
2016-10-07 v1 神经与进化计算
机器学习
摘要
我们引入延迟剪枝，一种简单而强大的正则化动态玻尔兹曼机(DyBM)的技术。最近提出的DyBM作为一种多维时间序列的生成模型，提供了一种结构特别规整的玻尔兹曼机。该玻尔兹曼机可具有无限多层单元，但基于其受生物启发的结构，允许精确推断和学习。DyBM利用传导延迟的思想，采用固定长度的先进先出(FIFO)队列形式，一个神经元通过此FIFO队列连接到另一个神经元，来自突触前神经元的脉冲沿队列以恒定的延迟周期传播至突触后神经元。本文我们提出延迟剪枝作为一种机制，通过以固定概率将某些延迟长度设为1（使其为零），最终选择具有固定延迟的最佳性能模型，来修剪FIFO队列的长度。DyBM结构的独特性及其基于非采样的学习规则，使得先前提出的正则化技术如Dropout或DropConnect难以应用，导致泛化能力差。首先，我们评估延迟剪枝让DyBM学习由马尔可夫链生成的多维时间序列的性能。最后，我们使用移动MNIST数据集展示延迟剪枝在学习高维序列中的有效性，并与Dropout和DropConnect方法进行比较。
引用
@article{arxiv.1610.01989,
title = {Regularized Dynamic Boltzmann Machine with Delay Pruning for Unsupervised Learning of Temporal Sequences},
author = {Sakyasingha Dasgupta and Takayuki Yoshizumi and Takayuki Osogami},
journal= {arXiv preprint arXiv:1610.01989},
year = {2016}
}
备注
6 pages, 5 figures, accepted full paper (oral presentation) at ICPR 2016