通过多级训练实现极小极大最优的核算子学习

学习无穷维函数空间之间的映射在机器学习的许多领域取得了经验性成功，包括生成建模、函数型数据分析、因果推断和多智能体强化学习。本文中，我们研究了在两个无穷维 Sobolev 再生核 Hilbert 空间之间学习 Hilbert-Schmidt 算子的统计极限。我们建立了基于 Sobolev Hilbert-Schmidt 范数的信息论下界，并表明一种正则化方法——学习偏置轮廓以下的谱分量并忽略方差轮廓以上的谱分量——可以达到最优学习率。同时，偏置与方差轮廓之间的谱分量赋予了我们在设计计算可行的机器学习算法上的灵活性。基于这一观察，我们开发了一种多级核算子学习算法，该算法在学习无穷维函数空间之间的线性算子时是最优的。