神经网络能否最优压缩流形？
信息论
2022-09-13 v2 计算机视觉与模式识别
机器学习
math.IT
摘要
基于人工神经网络（ANN）的有损压缩器最近在多种信源上取得了引人注目的结果。它们的成功可能归因于一种识别高维环境空间中低维流形结构的能力。事实上，先前的工作已经表明，基于 ANN 的压缩器对于某些此类信源可以达到最优的熵-失真曲线。相比之下，我们确定了两个具有圆形结构的低维流形的最优熵-失真权衡，并表明最先进的基于 ANN 的压缩器未能对它们进行最优压缩。
引用
@article{arxiv.2205.08518,
title = {Do Neural Networks Compress Manifolds Optimally?},
author = {Sourbh Bhadane and Aaron B. Wagner and Johannes Ballé},
journal= {arXiv preprint arXiv:2205.08518},
year = {2022}
}