基于统计-Manifold 压缩的几何感知信息瓶颈 (GeoIB)
介观与纳米尺度物理
2026-02-05 v1
摘要
信息瓶颈 (IB) 广泛应用于，但在深度学习中，通常通过可行的替代品实现，如变分界限或神经互信息 (MI) 估计器，而非直接控制 MI I(X;Z)。其松弛性和估计器相关偏差可能导致 IB "压缩"仅间接受控且优化不稳。我们从信息几何视角重新审视 IB问题，提出几何信息瓶颈 (GeoIB)，无需互信息估计。我们表明 I(X;Z) 和 I(Z;Y) 可表示为从联合分布到各自独立流形的最小 KL 距离。基于此观点，GeoIB 通过两个互补术语控制信息压缩：(i) 分布层面的 Fisher-Rao (FR) 偏差，将 KL 与二阶匹配且具有重参数不变性；(ii) 几何层面的 Jacobian-Frobenius (JF) 项，通过惩罚编码器的拉回体积扩张，为 I(Z;X) 提供局部容量上界。我们进一步推导了一致于 FR 度量的自然梯度优化器，并证明标准加法自然梯度步骤与测地线更新在一阶上等价。我们进行了大量实验，观察到在信息平面上，GeoIB 在主流 IB 基线上实现了更好的预测准确率与压缩比例之间的trade-off。GeoIB 通过统一分布性和几何正则化于单一瓶颈乘子下，提高了不变性和优化稳定性。GeoIB 的源代码发布于 "https://anonymous.4open.science/r/G-IB-0569"。
引用
@article{arxiv.2602.03905,
title = {Optical detection of the quantum Hall effect in silicon nanostructures},
author = {N. T. Bagraev and L. E. Klyachkin and A. N. Malyarenko and N. I. Rul'},
journal= {arXiv preprint arXiv:2602.03905},
year = {2026}
}
备注
7 pages, 5 figures