深度生成建模重塑压缩与传输：从效率到弹性

信息论与机器学习密不可分，甚至被称为“同一枚硬币的两面”。其中一个特别优雅的联系是概率生成建模与数据压缩或传输之间的本质等价性。在本文中，我们揭示了深度生成模型的双重功能，它同时重塑了用于效率的数据压缩和用于弹性的传输错误隐藏。我们展示了强大的生成模型的上下文预测能力如何能够很好地定位为强大的压缩器和估计器。从这个意义上说，我们主张通过端到端通信的视角来看待深度生成建模问题，并评估基础生成模型的压缩和错误恢复能力。我们表明，许多大型生成模型的核心是强大的预测器，可以捕获语义潜在变量之间的复杂关系，而通信视角为语义特征标记化、上下文学习和深度生成模型的使用提供了新颖的见解。总之，我们的文章强调了生成式AI与信源和信道编码技术的基本联系，并激励研究人员在这一新兴课题上进行进一步的探索。