张量、学习与有限字母表随机向量的“Kolmogorov 延拓”
信号处理
2018-10-17 v2 信息论
math.IT
概率论
机器学习
摘要
估计一组随机变量的联合概率质量函数（PMF）是统计学习与信号处理的核心。若无结构性假设（例如将变量建模为马尔可夫链、树或其他图模型），联合 PMF 估计常被视为不可能完成的任务——未知量的数量随变量数呈指数增长。但谁给我们结构模型？是否存在一种通用的、“非参数”方法来控制联合 PMF 复杂度，而无需依赖关于底层概率模型的先验结构假设？是否可能在不过早偏置分析的情况下发现操作结构？如果我们仅观测变量的随机子集，是否仍能可靠估计所有变量的联合 PMF？本文表明，或许令人惊讶地，如果能估计任意三个变量的联合 PMF，那么在相对温和的条件下可证明恢复所有变量的联合 PMF。该结果令人联想到 Kolmogorov 延拓定理——低维分布的一致指定可诱导出整个过程的唯一概率测度。不同之处在于，对于有限复杂度（高维 PMF 的秩）的过程，仅由三维分布即可获得完整刻画。事实上并非需要所有三维 PMF；在更严格条件下甚至二维即可。利用多线性代数，本文证明此类高维 PMF 补全可得以保证——推导了若干相关的可辨识性结果。同时还提供了一种实用且高效的算法来执行恢复任务。文中给出了精心设计的仿真以及关于电影推荐与数据分类的真实数据实验，以展示该方法的有效性。
引用
@article{arxiv.1712.00205,
title = {Tensors, Learning, and 'Kolmogorov Extension' for Finite-alphabet Random Vectors},
author = {Nikos Kargas and Nicholas D. Sidiropoulos and Xiao Fu},
journal= {arXiv preprint arXiv:1712.00205},
year = {2018}
}