博弈论、极大熵、极小差异与稳健贝叶斯决策理论

我们描述并发展了两个通常被视为不同问题之间的密切联系：极大化熵与极小化最坏情形期望损失。利用扎根于决策者与自然之间零和博弈均衡理论的表述，这两个问题被证明彼此对偶，其一的解给出另一的解。尽管 Tops\oe 在二十多年前描述了 Shannon 熵的这一联系，但即使在那个重要特例中似乎也未被广泛知晓。我们在此推广该理论以适用于任意决策问题与损失函数。我们指出如何为此类问题关联一个适当的广义熵定义，并证明在一定的正则性条件下，上述对偶性在该扩展情形下依然成立。这同时提供了极大化熵的一种可能依据以及寻找稳健贝叶斯行动的工具。我们还描述了极大化熵与极小化分布间相关差异或散度问题的本质同一性。这导致将信息论中著名的 Kullback-Leibler 散度情形的极小极大定理（“冗余-容量定理”）推广至任意散度。对于具有某些指定均值值的分布族这一重要情形，我们发展了识别所需解的简明的充分条件与方法。