Forster-Warmuth 反事实回归：一种统一的学习方法

级数或正交基回归是实践中最流行的非参数回归技术之一，通过对在观测协变量值处评估基函数所生成的特征回归响应而获得。最常用的级数估计量基于普通最小二乘拟合，已知其在多种设定下达到极小极大速率最优，尽管对基函数和协变量分布有严格限制。受最近发展的 Forster-Warmuth（FW）学习器启发，我们提出了一种替代的级数回归估计量，可在比文献中现有级数估计量更弱的条件下（对基函数和协变量联合律的要求更弱）达到极小极大估计速率。此外，本工作的一个关键贡献将 FW 学习器推广到所谓的反事实回归问题，其中感兴趣的反应变量可能并非在所有抽样单元上都被直接观测到（因此称为“反事实”），因而需要被推断以便从观测数据识别和估计所关注的回归。尽管反事实回归并非全新领域，我们提出了从统一伪结果视角对这一挑战性问题的首个系统性研究。事实上，我们给出了似乎是首个通用且构造性的方法用于生成伪结果（替代未观测响应），其导致感兴趣的反事实回归曲线的估计偏差较小，即二阶偏差。若干应用用于说明所得 FW 学习器，包括缺失数据和因果推断文献中的许多非参数回归问题，我们针对这些问题建立了所提 FW 学习器极小极大速率最优性的高阶条件。