从 pairwise 边缘分布恢复离散随机变量的联合概率

学习随机变量的联合概率是统计信号处理和机器学习的基石。然而，由于维数灾难，高维联合概率的直接非参数估计通常是不可能的。近期工作提出利用低秩张量分解的代数性质以及随机变量之间（未知的）依赖性，从三维边缘分布恢复任意数量随机变量的联合概率质量函数（PMF）。尽管如此，准确估计三维边缘分布在样本复杂度方面仍然代价高昂，影响了该方向工作在实践中样本匮乏环境下的性能。使用三维边缘分布还涉及可处理性不明的具有挑战性的张量分解问题。本工作提出一个仅使用 pairwise 边缘分布学习联合PMF的新框架，其样本复杂度自然低于三阶边缘分布。我们开发了耦合非负矩阵分解（CNMF）框架，并分析了其在各种条件下的联合PMF恢复保证。我们的方法还具有类Gram–Schmidt（GS）算法，展现出有竞争力的运行时间性能。该算法被证明在合理条件下能在有限迭代内以有界误差可证明地恢复联合PMF。研究还表明，近期提出的经济期望最大化（EM）算法保证能改进类GS算法的输出，从而进一步提升准确率和效率。真实数据实验用于展示有效性。