用于加权 M-估计的生成式多用途采样器
统计方法学
2023-10-18 v3
摘要
为克服自助法（bootstrap）与交叉验证等各类数据扰动过程的计算瓶颈，我们提出生成式多用途采样器（GMS），其构造一个生成器函数，从给定的一组权重与调参中产生加权 M-估计量之解。GMS 通过单次优化实现，无需反复计算加权损失的最小化子，因此能显著减少计算时间。我们证明 GMS 框架使得各类在传统框架下不可行的统计过程得以实现，例如迭代自助法、带惩罚似然的自助交叉验证、基于非参数极大似然的自助经验贝叶斯等。为构造计算高效的生成器函数，我们还提出一种称为权重乘性多层感知机的新颖神经网络形式以实现快速收敛。数值结果表明，相较于传统结构，这一新神经网络结构享有数个数量级的速度优势。我们提供了一个名为 GMS 的 R 包，其在 Pytorch 下运行以实现所提方法，并允许用户提供自定义损失函数以适配其感兴趣的模型。
引用
@article{arxiv.2006.00767,
title = {Generative Multiple-purpose Sampler for Weighted M-estimation},
author = {Minsuk Shin and Shijie Wang and Jun S Liu},
journal= {arXiv preprint arXiv:2006.00767},
year = {2023}
}