面向高维回归问题的概率单位分解网络
机器学习
2023-06-13 v2 计算工程、金融与科学
摘要
我们在高维回归问题的背景下探索概率单位分解网络(PPOU-Net)模型，并提出一个聚焦于自适应降维的通用框架。在该框架下，目标函数由低维流形上的专家混合模型逼近，其中每个簇关联一个局部固定次多项式。我们给出一种利用期望最大化(EM)算法的训练策略。训练过程中，我们交替进行：(i) 应用梯度下降更新DNN系数；(ii) 使用由EM算法导出的闭式公式更新专家混合模型参数。在概率表述下，步骤(ii)可化为极易并行化的加权最小二乘求解形式。在各种数据维度的数值实验中，PPOU-Net一致优于规模相当的基线全连接神经网络。我们还在量子计算应用中探索了所提模型，其中PPOU-Net充当与变分量子线路相关的代价景观的代理模型。
引用
@article{arxiv.2210.02694,
title = {Probabilistic partition of unity networks for high-dimensional regression problems},
author = {Tiffany Fan and Nathaniel Trask and Marta D'Elia and Eric Darve},
journal= {arXiv preprint arXiv:2210.02694},
year = {2023}
}