基于 Bregman 散度的超链接回归

一组 $U\:(\in \mathbb{N})$ 数据向量称为一个 $U$-元组，元组各条目索引置换下对称的向量间关联强度称为\emph{超链接权重}。本文提出 Bregman 超链接回归 (BHLR)，其学习一个用户指定的对称相似度函数，从而由存储在 $U$-元组中的数据向量预测该元组的超链接权重。BHLR 是一种简单且通用的超关系学习框架，它最小化对应元组的超链接权重与所定义估计相似度之间的 Bregman 散度 (BD)；BHLR 涵盖了多种现有方法，如逻辑回归 ($U=1$)、泊松回归 ($U=1$)、链接预测 ($U=2$)，以及图嵌入 ($U=2$)、矩阵分解 ($U=2$)、张量分解 ($U \geq 2$) 等表示学习方法及其任意 BD 变体。相似度函数可采用非线性函数（如神经网络）。然而存在理论挑战：与经典回归的独立同分布设定不同，BHLR 中某些不同元组可能共享数据向量。我们解决了这些理论问题，并证明配备任意 BD 且 $U \in \mathbb{N}$ 的 BHLR 满足 (P-1) 统计一致性，即给定数据向量时渐近恢复超链接权重的潜在真实条件期望，以及 (P-2) 计算可处理性，即借助针对超关系数据的新广义小批量采样过程，可通过随机优化算法高效计算。从而以统一方式为包含若干现有方法（此前仅经实验验证）的 BHLR 提供了理论保证。