基于自适应量化模块的在线学习式持续压缩
机器学习
2020-08-24 v3 计算机视觉与模式识别
机器学习
摘要
我们引入并研究了在线持续压缩（Online Continual Compression）问题，即在不重复观测每个样本的前提下，试图从一个非独立同分布的数据流中同时学习压缩并存储一个具有代表性的数据集。在此设定下直接应用自编码器会遇到一个主要挑战：由较早编码器状态导出的表示必须能被较晚的解码器状态使用。我们展示了如何利用离散自编码器有效应对这一挑战，并引入自适应量化模块（Adaptive Quantization Modules, AQM）来控制该模块在学习的任意给定阶段中压缩能力的变化。这使得在为到来样本选择适当压缩方式时，能够同时考虑整体内存约束与已学压缩的当前进展。与以往方法不同，我们的方法不需要任何预训练，即使在具有挑战性的数据集上也是如此。我们表明，在持续学习设定中使用 AQM 替代标准情景记忆（episodic memory）可在持续学习基准上带来显著增益。此外，我们在更大图像、LiDAR 和强化学习环境中展示了该方法的有效性。
引用
@article{arxiv.1911.08019,
title = {Online Learned Continual Compression with Adaptive Quantization Modules},
author = {Lucas Caccia and Eugene Belilovsky and Massimo Caccia and Joelle Pineau},
journal= {arXiv preprint arXiv:1911.08019},
year = {2020}
}