中文

语义率失真与后验设计:计算约束、多模态性与战略推断

信息论 2026-02-05 v1 人工智能 机器学习 math.IT

摘要

我们研究在率和计算约束下的战略性高斯语义压缩,其中编码器和解码器优化不同的二次目标。潜在高斯状态生成与任务相关的语义变量,解码器通过MMSE估计作出最佳回应,将编码器的问题简化为在信息率约束下的后验协方差设计。我们在直接、远程和完全信息情境中 characterize 战略率失真函数,导出语义水位填充和受限率的高斯说服解决方案,确立在目标不一致下的高斯最优性。我们进一步表明,架构计算限制作为隐式率约束,导致语义准确率随模型深度和推理时间计算呈指数级提升,而多模态观察消除了远程编码固有的几何平均惩罚。这些结果为数据和能源效率的AI提供了信息论基础,为资源受限下的后验设计机制提供了原则性解释,现代多模态语言模型即为其中之一。

关键词

引用

@article{arxiv.2602.03949,
  title  = {Semantic Rate Distortion and Posterior Design: Compute Constraints, Multimodality, and Strategic Inference},
  author = {Emrah Akyol},
  journal= {arXiv preprint arXiv:2602.03949},
  year   = {2026}
}

备注

submitted for publication