中文

具有生成先验的盲解调的全局保证

最优化与控制 2019-05-30 v1 信息论 机器学习 math.IT 概率论

摘要

我们研究了一种受深度学习启发的盲解调问题公式,该问题是从事先逐元素相乘中恢复两个未知向量的任务。我们考虑未知向量位于已知深度生成模型 G(1):RnR\mathcal{G}^{(1)}:\mathbb{R}^n\rightarrow\mathbb{R}^\ellG(2):RpR\mathcal{G}^{(2)}:\mathbb{R}^p\rightarrow\mathbb{R}^\ell 的值域中的情况。在对应于生成模型的网络是扩张的、权重矩阵是随机的且未知向量的维数满足 =Ω(n2+p2)\ell = \Omega(n^2+p^2)(直至对数因子)的情况下,我们表明经验风险目标具有利于优化的地形。即,目标函数在除四条双曲曲线附近的小邻域外的每一点都有下降方向。我们还刻画了经验风险目标的局部极大点,并从而表明在这些四条双曲曲线附近的邻域和局部极大点集合之外不存在其他驻点。我们还实现了一种受目标函数地形几何启发的梯度下降方案。为了收敛到全局极小点,该梯度下降方案利用了恰好有一条双曲曲线对应于全局极小点这一事实,因此靠近该双曲曲线的点比靠近其他伪双曲曲线的点具有更低的目标值。我们表明该梯度下降方案能有效去除合成引入到 MNIST 数据集上的失真。

关键词

引用

@article{arxiv.1905.12576,
  title  = {Global Guarantees for Blind Demodulation with Generative Priors},
  author = {Paul Hand and Babhru Joshi},
  journal= {arXiv preprint arXiv:1905.12576},
  year   = {2019}
}