影响函数的免费午餐？利用半参数统计概念改进神经网络估计
机器学习
2022-06-13 v2 统计方法学
机器学习
摘要
在经验领域中，参数估计通常使用参数化模型进行，此类模型易于进行统计推断。然而，它们可能不够灵活，无法充分模拟现实世界的现象，并可能产生有偏估计。相反，非参数方法虽然灵活，但不便进行统计推断，且可能仍存在残余偏差。我们探讨了影响函数在以下方面的潜力： 在无需更多数据的情况下改进初始估计量； 提高模型鲁棒性； 促进统计推断。我们首先广泛介绍了影响函数，并提出了一种神经网络方法“MultiNet”，该方法利用单一架构寻求集成模型的多样性。我们还引入了 IF 更新步骤的变体，称之为“MultiStep”，并对不同方法进行了全面评估。研究发现，这些改进依赖于数据集，表明所用方法与数据生成过程的性质之间存在交互作用。我们的实验强调了从业者验证其研究结果一致性的必要性，这可以通过使用不同估计量组合进行多次分析来实现。我们还表明，在无需更多数据且无需重新训练的情况下，“免费”改进现有神经网络是可能的。
引用
@article{arxiv.2202.09096,
title = {A Free Lunch with Influence Functions? Improving Neural Network Estimates with Concepts from Semiparametric Statistics},
author = {Matthew J. Vowels and Sina Akbari and Necati Cihan Camgoz and Richard Bowden},
journal= {arXiv preprint arXiv:2202.09096},
year = {2022}
}