深度神经特征在工具变量回归中的最优性与自适应性
机器学习
2025-01-10 v1 机器学习
摘要
我们对深度特征工具变量（DFIV）回归（Xu et al., 2021）进行了收敛性分析，这是一种利用深度神经网络在两个阶段学习的数据自适应特征来进行IV回归的非参数方法。我们证明了当目标结构函数位于Besov空间中时，DFIV算法能够达到minimax最优学习率。这是在标准的非参数IV假设，以及对给定工具变量时协变量条件分布的正则性的额外平滑假设下证明的，该假设控制了阶段1的难度。我们进一步证明，作为一种数据自适应算法，DFIV在两个方面优于固定特征（核或筛）IV方法。首先，当目标函数具有低空间同质性（即它同时具有平滑和尖峰/不连续区域）时，DFIV仍能达到最优速率，而固定特征方法被证明是严格次优的。其次，与基于核的两阶段回归估计量相比，DFIV在阶段1样本中被证明具有更高的数据效率。
引用
@article{arxiv.2501.04898,
title = {Optimality and Adaptivity of Deep Neural Features for Instrumental Variable Regression},
author = {Juno Kim and Dimitri Meunier and Arthur Gretton and Taiji Suzuki and Zhu Li},
journal= {arXiv preprint arXiv:2501.04898},
year = {2025}
}
备注
46 pages, 1 figure, 2 tables