通过平方运算的减性混合模型：表示与学习
机器学习
2024-04-29 v3 人工智能
摘要
混合模型传统上通过叠加若干分布作为分量来表示和学习。允许混合模型减去概率质量或密度可大幅减少建模复杂分布所需的分量数量。然而，学习此类减性混合模型同时确保其仍编码非负函数具有挑战性。我们研究如何通过平方运算学习和推断深度减性混合模型。我们在概率电路框架下完成此工作，该框架使我们能够表示张量化混合并推广其他若干减性模型。我们从理论上证明，允许减法的平方电路类可比传统加性混合模型具有指数级更强的表达能力；并且我们在一系列真实世界分布估计任务上实证展示了这种增强的表达能力。
引用
@article{arxiv.2310.00724,
title = {Subtractive Mixture Models via Squaring: Representation and Learning},
author = {Lorenzo Loconte and Aleksanteri M. Sladek and Stefan Mengel and Martin Trapp and Arno Solin and Nicolas Gillis and Antonio Vergari},
journal= {arXiv preprint arXiv:2310.00724},
year = {2024}
}