无界支撑独立随机变量之和的学习与覆盖

我们研究对无界甚至无限支撑的独立整值随机变量 $X_i$ 之和 $X = X_1 + \cdots + X_n$（SIIRVs）的覆盖与学习问题。De 等人在 FOCS 2018 上指出，$X_i$ 集体支撑的最大值必然出现在学习 $X$ 的样本复杂度中。本工作中，我们处理两个问题：（i）是否存在具有无界支撑、其学习样本复杂度可独立于 $n$ 与支撑最大元素的通用 SIIRV 族？（ii）是否存在具有无界支撑、在总变差距离下容许恰当稀疏覆盖的通用 SIIRV 族？针对问题（i），我们给出一组简单条件，使无界 SIIRV 能以 $\text{poly}(1/\epsilon)$ 的复杂度被学习，从而规避上述下界。我们进一步在如下一般设定中解决问题（ii）：每个变量 $X_i$ 具有单峰概率质量函数，且为某个可能多参数指数族 $\mathcal{E}$ 的不同成员，该族满足若干结构性质。这些性质使 $\mathcal{E}$ 可包含重尾且非对数凹分布。此外，我们证明对任意 $\epsilon > 0$ 及每个满足若干结构假设的 $k$ 参数族 $\mathcal{E}$，存在一算法以 $\tilde{O}(k) \cdot \text{poly}(1/\epsilon)$ 样本在 TV 距离 $\epsilon$ 内学习 $n$ 个 $\mathcal{E}$ 任意成员之和。该学习算法的输出亦为随机变量之和，其分布属于族 $\mathcal{E}$。在此过程中，我们证明任何具有有界常数阶中心矩的离散单峰指数族，可被对应于初始（无界）参数空间有界子集的族所逼近。