语义率失真与后验设计:计算约束、多模态性与战略推断
信息论
2026-02-05 v1 人工智能
机器学习
math.IT
摘要
我们研究在率和计算约束下的战略性高斯语义压缩,其中编码器和解码器优化不同的二次目标。潜在高斯状态生成与任务相关的语义变量,解码器通过MMSE估计作出最佳回应,将编码器的问题简化为在信息率约束下的后验协方差设计。我们在直接、远程和完全信息情境中 characterize 战略率失真函数,导出语义水位填充和受限率的高斯说服解决方案,确立在目标不一致下的高斯最优性。我们进一步表明,架构计算限制作为隐式率约束,导致语义准确率随模型深度和推理时间计算呈指数级提升,而多模态观察消除了远程编码固有的几何平均惩罚。这些结果为数据和能源效率的AI提供了信息论基础,为资源受限下的后验设计机制提供了原则性解释,现代多模态语言模型即为其中之一。
引用
@article{arxiv.2602.03949,
title = {Semantic Rate Distortion and Posterior Design: Compute Constraints, Multimodality, and Strategic Inference},
author = {Emrah Akyol},
journal= {arXiv preprint arXiv:2602.03949},
year = {2026}
}
备注
submitted for publication