专家乘积模型的可辨识性
机器学习
2023-10-17 v1 代数几何
统计理论
统计理论
摘要
专家乘积（Product of Experts, PoE）是一种分层网络，其中每个节点的值为其输入值（可能取反）的与（或乘积）。这些网络作为一种神经网络架构被提出，可高效学习生成满足许多低维约束的高维数据——从而使每个单独的专家执行简单任务。PoE 已在学习中得到多种应用。我们研究具有一层二元潜变量和一层在给定潜变量下独立同分布二元观测变量的专家乘积模型的可辨识性问题。先前关于辨识模型所需观测变量数量的最佳上界为参数数量的指数级。我们证明：(a) 当潜变量均匀分布时，模型可用等于参数数量（因此是最佳可能）的观测变量数辨识。(b) 在任意分布潜变量更一般的情况下，模型可用仍为参数数量线性（且在最佳可能两倍以内）的观测变量数辨识。证明依赖于某些特殊三项递推的根交错现象。
引用
@article{arxiv.2310.09397,
title = {Identifiability of Product of Experts Models},
author = {Spencer L. Gordon and Manav Kant and Eric Ma and Leonard J. Schulman and Andrei Staicu},
journal= {arXiv preprint arXiv:2310.09397},
year = {2023}
}
备注
24 pages, 2 figures