迈向基于信息论的等变发现

对称性的存在对系统施加了一组严格的约束。这种受约束的结构使得与此类系统交互的智能体能够通过将系统对称性内化为自身的信息处理，来大幅提高学习与泛化的效率。与此同时，对复杂度受限的学习与行为的原理性建模正越来越多地利用信息论方法。在此，我们希望将这两种视角结合起来，理解信息论透镜是否以及以何种形式能够“看见”系统对称性的效应。为此，我们提出信息瓶颈原理的一种新变体，该原理已成为许多学习与信息受限自适应行为原理性研究的富有成效的基础。我们表明（在离散情形及特定技术假设下）我们的方法形式化了对称性与信息节俭之间的某种对偶性：即信道等变性可由信道输入与输出的最优互信息保持联合压缩来刻画。该信息论处理还进一步提出了一种原理性的“软”等变概念，其“粗粒度”程度由相应最优压缩所保留的输入-输出互信息量来度量。这一新概念在有限理性领域与神经表征中对称性研究之间架起了一座桥梁。该框架也可能允许自动发现（精确与软）等变性。