FlowNIB：双向与单向语言模型的信息瓶颈分析
计算与语言
2025-10-10 v3
摘要
双向语言模型具有更好的上下文理解能力，在自然语言理解任务上优于单向模型，但这一优势背后的理论原因仍不清楚。在本工作中，我们通过信息瓶颈（IB）原则的视角研究这种差异，该原则将压缩输入信息与保留任务相关内容之间的权衡形式化。我们提出FlowNIB，一种在训练期间估计互信息的动态可扩展方法，解决了经典IB方法的关键局限性，包括计算不可处理性和固定的权衡调度。在理论上，我们证明双向模型比单向模型保留了更多的互信息并表现出更高的有效维度。为了支持这一点，我们提出了一个测量表示复杂度的广义框架，并证明在温和条件下双向表示严格更具信息量。我们进一步通过使用FlowNIB在多个模型和任务上的广泛实验验证了我们的发现，揭示了信息在训练过程中是如何被编码和压缩的。总之，我们的工作为双向架构的有效性提供了有原则的解释，并引入了一个分析深度语言模型中信息流的实用工具。
引用
@article{arxiv.2506.00859,
title = {FlowNIB: An Information Bottleneck Analysis of Bidirectional vs. Unidirectional Language Models},
author = {Md Kowsher and Nusrat Jahan Prottasha and Shiyun Xu and Shetu Mohanto and Ozlem Garibay and Niloofar Yousefi and Chen Chen},
journal= {arXiv preprint arXiv:2506.00859},
year = {2025}
}