聚合学习：基于信息瓶颈矢量量化的深度学习框架
机器学习
2019-02-13 v3 人工智能
信息论
math.IT
机器学习
摘要
基于信息瓶颈（IB）的概念，我们提出了一个称为“IB量化”的量化问题。我们证明IB量化等价于基于IB原理的学习。在此等价关系下，标准神经网络模型可视为标量（单样本）IB量化器。从传统的率失真理论可知，标量量化器劣于矢量（多样本）量化器。这一缺陷启发我们开发一种新颖的学习框架AgrLearn，它对应于用于神经网络学习的矢量IB量化器。与标准网络不同，AgrLearn同时对多个数据样本进行优化。我们通过实验验证，当应用于几种当前的用于图像识别和文本分类的深度学习架构时，AgrLearn能带来显著改进。我们还通过经验表明，AgrLearn可将ResNet训练所需的训练样本减少多达80%。
引用
@article{arxiv.1807.10251,
title = {Aggregated Learning: A Deep Learning Framework Based on Information-Bottleneck Vector Quantization},
author = {Hongyu Guo and Yongyi Mao and Ali Al-Bashabsheh and Richong Zhang},
journal= {arXiv preprint arXiv:1807.10251},
year = {2019}
}
备注
with Supplementary Materials, 15 pages