Lost and Found in Translation: Variational Diagnostics for Neural Codebook Channels
机器学习
2026-05-20 v1 人工智能
信息论
math.IT
摘要
经典通信系统的失败不仅来自随机噪声,还来自发射方和接收方使用不兼容的运营代码本。变分自编码器 (VAEs) 联合训练编码器 和解码器 ,实践者将其潜在空间视为离散码,用于聚类、条件生成和机制可解释性。然而标准的 VAE 诊断 -- ELBO、主动单元、互信息和代码直方图 -- 仅确认该代码是否被使用,从未确认解码器是否按编码器的代码读取每个潜在向量。我们提出神经代码本通道 ,这是一种编码器-解码器耦合诊断,其非对角线质量由无架构的伯努利-KL 证书 控制,后者由变分间隙决定。该证书是经典 KL 链式规则在离散化下对编码器-解码器不一致事件的运算化,辅以构造性边际不可行性结果:任何边际直方图、熵、主动码计数或互信息的组合都无法确定 。我们在四个 sklearn 数据集上审计该证书(精确解、5/5 随机种子、20/20 配对满足边界),一个 2D 模型中该边界在 观察到的不一致处依然非平凡,四项恒等式在 精度内收敛,MNIST 下采用重要抽样控制,以及一个 VQ-VAE 实现预测极限 。包 是可审计的报告单元。更广泛地说,该框架将经典通信理论数十年前命名的失配解码 -- 一种故障模式 -- 可见于单个深度生成模型内部。
引用
@article{arxiv.2605.18846,
title = {Lost and Found in Translation: Variational Diagnostics for Neural Codebook Channels},
author = {Yusuke Hayashi},
journal= {arXiv preprint arXiv:2605.18846},
year = {2026}
}
备注
9 pages, 2 figures