中介无配对学习:在无直接输入输出对应关系下学习函数

普通监督学习在我们有输入 $X$ 与输出 $Y$ 的配对训练数据时是有用的。然而,这类配对数据在实践中往往难以收集。在本文中,我们考虑在缺乏 $X$ 与 $Y$ 的配对数据、但分别拥有各自带有某个中介变量 $U$ 的独立数据集时从 $X$ 预测 $Y$ 的任务,即我们拥有两个数据集 $S_X = \{(X_i, U_i)\}$ 与 $S_Y = \{(U'_j, Y'_j)\}$。一种朴素的方法是利用 $S_X$ 从 $X$ 预测 $U$,再利用 $S_Y$ 从 $U$ 预测 $Y$,但我们证明这在统计上是不一致的。此外,预测 $U$ 在实践中可能比预测 $Y$ 更困难,例如当 $U$ 具有更高维度时。为规避该困难,我们提出一种新方法,避免预测 $U$,而是直接学习 $Y = f(X)$:用 $S_X$ 训练 $f(X)$ 以预测 $h(U)$,而 $h(U)$ 用 $S_Y$ 训练以逼近 $Y$。我们证明了方法的统计一致性与误差界,并通过实验验证了其实际效用。