一种用于计算学习与逆问题的广义加权优化方法

各种机器学习模型在欠参数化和过参数化 regime 下的泛化能力表现出不同现象。本文关注特征回归与核回归等回归模型，并分析了用于带噪声数据的计算学习与逆问题的广义加权最小二乘优化方法。所提框架的亮点在于我们允许在参数空间和数据空间中同时进行加权。该加权方案既编码了关于待学习对象的先验知识，也编码了在损失函数中对不同数据点贡献进行加权的策略。在此，我们刻画了加权方案对该学习方法泛化误差的影响，其中我们推导了随机傅里叶特征模型在欠参数化和过参数化 regime 下的显式泛化误差。对于更一般的特征映射，基于特征矩阵奇异值给出了误差界。我们证明，来自先验知识的适当加权可以提升所学模型的泛化能力。