基于因果干预的自适应控制贝叶斯规则

解释自适应行为是人工智能研究中的一个核心问题。本文将自适应智能体形式化为输入和输出序列上的混合分布。混合分布中的每个分布构成一个“可能世界”，但智能体并不知道它实际面对的是哪个可能世界。问题在于以与真实世界兼容的方式调整输入输出流。通过真实世界的输入输出分布与对可能世界不确定的智能体所期望的输入输出分布之间的Kullback-Leibler散度，可以获得一种自然的适应性度量。在纯输入流的情况下，贝叶斯混合为此问题提供了一个众所周知的解决方案。然而，我们表明，在输入输出流的情况下，该解决方案失效，因为输出是由智能体自身发出的，并且需要由干预演算提供的不同概率语法。基于该演算，我们得到了一个贝叶斯控制规则，该规则允许使用输入输出流上的混合分布来建模自适应行为。该规则可能为基于最小KL原理的自适应控制提供一种新方法。