高失真情形下单位范数向量的最优压缩
信息论
2024-02-06 v2 分布式、并行与集群计算
机器学习
math.IT
摘要
受通信高效分布式学习需求的驱动,我们研究将单位范数向量压缩为最少比特数的方法,同时允许恢复时存在某种可接受的失真水平。该问题已在率失真/覆盖码文献中被探讨,但我们专注于“高失真”情形。我们在最坏情况下研究该问题,不对向量有任何先验信息,但允许使用随机压缩映射。我们的研究同时考虑有偏和无偏压缩方法,并确定了最优压缩率。结果表明,在此情形下简单压缩方案近乎最优。尽管结果新旧参半,但为完整起见本文对其进行了整理。
引用
@article{arxiv.2307.07941,
title = {Optimal Compression of Unit Norm Vectors in the High Distortion Regime},
author = {Heng Zhu and Avishek Ghosh and Arya Mazumdar},
journal= {arXiv preprint arXiv:2307.07941},
year = {2024}
}
备注
Appeared in ISIT 2023; Correct the proof of Theorem 1