中文

Lost and Found in Translation: Variational Diagnostics for Neural Codebook Channels

机器学习 2026-05-20 v1 人工智能 信息论 math.IT

摘要

经典通信系统的失败不仅来自随机噪声,还来自发射方和接收方使用不兼容的运营代码本。变分自编码器 (VAEs) 联合训练编码器 qphiq_phi 和解码器 pthetap_theta,实践者将其潜在空间视为离散码,用于聚类、条件生成和机制可解释性。然而标准的 VAE 诊断 -- ELBO、主动单元、互信息和代码直方图 -- 仅确认该代码是否被使用,从未确认解码器是否按编码器的代码读取每个潜在向量。我们提出神经代码本通道 Ked(ji)K_{e\to d}(j|i),这是一种编码器-解码器耦合诊断,其非对角线质量由无架构的伯努利-KL 证书 dbin(1Aηˉp)Δˉd_{\mathrm{bin}}(1-\mathcal{A}\,|\, \bar\eta_p) \le \bar\Delta 控制,后者由变分间隙决定。该证书是经典 KL 链式规则在离散化下对编码器-解码器不一致事件的运算化,辅以构造性边际不可行性结果:任何边际直方图、熵、主动码计数或互信息的组合都无法确定 KedK_{e\to d}。我们在四个 sklearn 数据集上审计该证书(精确解、5/5 随机种子、20/20 配对满足边界),一个 2D 模型中该边界在 2.71×2.71\times 观察到的不一致处依然非平凡,四项恒等式在 10410^{-4} 精度内收敛,MNIST 下采用重要抽样控制,以及一个 VQ-VAE 实现预测极限 A^=1.000\hat{\mathcal{A}}=1.000。包 (Ked,A,Reff,R,AU)(K_{e\to d}, \mathcal{A}, R_{\mathrm{eff}}, R, \mathrm{AU}) 是可审计的报告单元。更广泛地说,该框架将经典通信理论数十年前命名的失配解码 -- 一种故障模式 -- 可见于单个深度生成模型内部。

关键词

引用

@article{arxiv.2605.18846,
  title  = {Lost and Found in Translation: Variational Diagnostics for Neural Codebook Channels},
  author = {Yusuke Hayashi},
  journal= {arXiv preprint arXiv:2605.18846},
  year   = {2026}
}

备注

9 pages, 2 figures