近似拒绝采样的样本复杂度及其在平滑在线学习中的应用

假设我们可以访问来自分布$\mu$的$n$个独立样本，并且我们希望输出其中之一，目标是使输出分布尽可能接近目标分布$\nu$。在这项工作中，我们证明在所有满足有界$f$-散度$D_f(\nu\|\mu)\leq D$的$(\nu,\mu)$对类上，作为$n$函数的最优总变差距离由$\tilde\Theta(\frac{D}{f'(n)})$给出。此前，该问题仅在$\nu$关于$\mu$的Radon-Nikodym导数一致有界的情形下被研究。然后我们考虑一个看似非常不同领域——平滑在线学习——中的应用，其中我们表明，近期关于极小极大遗憾和预言机高效算法遗憾的结果即使在对手的约束放宽时（具有有界$f$-散度，而非有界Radon-Nikodym导数）仍然成立。最后，我们还研究了函数类上一致均值估计的重要性采样效能，并将重要性采样与拒绝采样进行比较。