深度学习时代控制的分离原理

我们回顾了基于复杂、高维、高度不确定的测量流（如视频）为控制系统定义并推断“状态”的问题。这样的状态或表示应包含且仅包含控制所需的信息，并剔除数据中的无关变异性。它还应具有有限复杂度，理想情况下根据可用资源进行调节。该表示是我们想要存储在内存中以替代数据的内容，因为它将控制任务与测量过程“分离”。对于无动态的平凡情况，可通过在函数类中最小化信息瓶颈拉格朗日量来推断表示，该函数类由深度神经网络实现。所得表示的维度远高于数据，已达数百万，但在信息内容意义上更小，仅保留任务所需部分。此过程还产生对无关因素不变且具最大独立分量的表示。我们将这些思想推广到动态情形，其中表示是在给定截至当前时刻的测量条件下任务变量的后验密度，其一般比经典贝叶斯滤波器所维持的预测密度简单得多。同样可用深度神经网络进行有限参数化，且已开始出现一些应用。无需显式马尔可夫性假设；相反，复杂度权衡最优表示的近似程度，包括马尔可夫性的程度。