利用正交空间变分梯度下降在约束域中采样

采样方法作为重要的推断与学习技术，通常针对无约束域设计。然而，约束在机器学习问题中无处不在，例如安全性、公平性、鲁棒性以及许多其他必须将采样结果应用于实际时所必须满足的性质。实施这些约束常导致隐式定义的流形，使得带约束的高效采样极具挑战性。本文中，我们提出一种新的变分框架，其带有设计的正交空间梯度流（O-Gradient），用于在由一般等式约束定义的流形 $\mathcal{G}_0$ 上采样。O-Gradient 将梯度分解为两部分：一部分减小到 $\mathcal{G}_0$ 的距离，另一部分减小正交空间中的 KL 散度。尽管大多数现有流形采样方法需要在 $\mathcal{G}_0$ 上初始化，O-Gradient 不需要此类先验知识。我们证明，在温和条件下，O-Gradient 以 $\widetilde{O}(1/\text{迭代次数})$ 的速率收敛到目标约束分布。我们的证明依赖于条件测度的一个新的 Stein 刻画，这本身可能具有独立意义。我们通过 Langevin 动力学和 Stein 变分梯度下降实现了 O-Gradient，并在包括贝叶斯深度神经网络在内的各种实验中展示了其有效性。