具有可证明保证的半参数非线性二部图表示学习
机器学习
2020-03-03 v1 机器学习
摘要
图表示学习是机器学习中一项普遍存在的任务，其目标是将每个顶点嵌入到低维向量空间中。我们考虑二部图并将其表示学习问题形式化为半参数指数族分布中参数的统计估计问题。假设二部图由半参数指数族分布生成，其参数分量由两层单隐层神经网络输出的邻近度给出，而非参数（干扰）分量为基础测度。神经网络以高维特征作为输入并输出嵌入向量。在此设定下，表示学习问题等价于恢复权重矩阵。估计的主要挑战来自激活函数的非线性和分布的非参数干扰分量。为克服这些挑战，我们提出了一种基于秩序分解技术的伪似然目标，并关注其局部几何结构。我们证明所提出的目标在真实值附近的邻域内是强凸的，从而基于梯度下降的方法可实现线性收敛速率。此外，我们证明该问题的样本复杂度在维度上呈线性（至多相差对数因子），这与参数化高斯模型一致。然而，我们的估计量对指数族内的任何模型误设都具有鲁棒性，这在大量实验中得到了验证。
引用
@article{arxiv.2003.01013,
title = {Semiparametric Nonlinear Bipartite Graph Representation Learning with Provable Guarantees},
author = {Sen Na and Yuwei Luo and Zhuoran Yang and Zhaoran Wang and Mladen Kolar},
journal= {arXiv preprint arXiv:2003.01013},
year = {2020}
}