神经有损图像压缩系统中循环学习算法的实证分析
计算机视觉与模式识别
2022-01-31 v1
摘要
深度学习的近期进展产生了在标准Kodak基准上优于JPEG和JPEG 2000的图像压缩算法。然而，它们训练缓慢（由于时间反向传播），且据我们所知，尚未在大量不同数据集上被系统评估。本文中，我们首次对近期最先进的混合神经压缩算法进行大规模比较，同时探索替代训练策略（在适用时）的影响。混合循环神经解码器是此前的最先进模型（最近被一个谷歌模型超越），可使用时间反向传播（BPTT）或稀疏注意力回溯（SAB）、无偏在线循环优化（UORO）和实时循环学习（RTRL）等替代算法训练。我们在6个基准数据集上比较这些训练替代方案以及谷歌模型（GOOG和E2E）。令人惊讶的是，我们发现用SAB训练的模型表现更好（甚至优于BPTT），实现了更快收敛和更优峰值信噪比。
引用
@article{arxiv.2201.11782,
title = {An Empirical Analysis of Recurrent Learning Algorithms In Neural Lossy Image Compression Systems},
author = {Ankur Mali and Alexander Ororbia and Daniel Kifer and Lee Giles},
journal= {arXiv preprint arXiv:2201.11782},
year = {2022}
}
备注
Accepted at DCC 2021, 15 pages