中文

高失真情形下单位范数向量的最优压缩

信息论 2024-02-06 v2 分布式、并行与集群计算 机器学习 math.IT

摘要

受通信高效分布式学习需求的驱动,我们研究将单位范数向量压缩为最少比特数的方法,同时允许恢复时存在某种可接受的失真水平。该问题已在率失真/覆盖码文献中被探讨,但我们专注于“高失真”情形。我们在最坏情况下研究该问题,不对向量有任何先验信息,但允许使用随机压缩映射。我们的研究同时考虑有偏和无偏压缩方法,并确定了最优压缩率。结果表明,在此情形下简单压缩方案近乎最优。尽管结果新旧参半,但为完整起见本文对其进行了整理。

关键词

引用

@article{arxiv.2307.07941,
  title  = {Optimal Compression of Unit Norm Vectors in the High Distortion Regime},
  author = {Heng Zhu and Avishek Ghosh and Arya Mazumdar},
  journal= {arXiv preprint arXiv:2307.07941},
  year   = {2024}
}

备注

Appeared in ISIT 2023; Correct the proof of Theorem 1