理解非线性模型向未见域外推的第一步

现实世界的机器学习应用通常涉及将神经网络部署到训练时未见的域中。因此，我们需要理解非线性模型的外推——在分布和函数类的什么条件下，模型能够保证外推到新的测试分布。该问题极具挑战性，因为即使两层神经网络，若不对域偏移做进一步假设，也无法保证在训练分布支撑集之外外推。本文朝着分析结构化域偏移下非线性模型的外推迈出了一些初步步骤。我们主要考虑这样的设定：数据的每个坐标（或坐标子集）的边际分布在训练与测试分布之间偏移不显著，但联合分布可能有大得多的偏移。我们证明，形如 $f(x)=\sum f_i(x_i)$ 的非线性模型族，其中 $f_i$ 是特征子集 $x_i$ 上的任意函数，若特征的协方差条件良好，则能够外推到未见分布。据我们所知，这是超越线性模型和有界密度比假设的首个结果，尽管对分布偏移和函数类的假设是理想化的。