基于滑动窗口的单元素批量训练
机器学习
2019-06-03 v2 机器学习
摘要
若干深度模型，尤其是生成模型，在其代价函数中比较来自两个分布的样本（例如类 WAE 的自动编码器模型、集合处理深度网络等）。使用所有这些方法时，由于样本需进行比较，无法直接以极小尺寸（极端情况下为单元素）批量训练模型。我们提出了一种使用单元素小批量训练此类模型的通用方法。该思路基于在潜空间中将批量拆分为部分：先前的即历史的元素用于潜空间分布匹配，当前元素用于潜空间分布计算与最小化过程。由于内存需求更小，这允许以比经典方法更高的分辨率图像训练网络。
引用
@article{arxiv.1905.12947,
title = {One-element Batch Training by Moving Window},
author = {Przemysław Spurek and Szymon Knop and Jacek Tabor and Igor Podolak and Bartosz Wójcik},
journal= {arXiv preprint arXiv:1905.12947},
year = {2019}
}