基于稳定加权数据抽样的递归似然模型加速推断

对于递归定义似然的模型进行推断计算量大，限制了其在大数据集上的可扩展性。我们提出一种基于无偏对数似然估计器的稳定加权抽样方法，用于加速推断。通过对早期观测分配更高的抽样概率，该方法减少了递归似然评估的有效深度，从而降低了预期计算成本。然而，慢速衰减导致频繁包含后期观测和高计算成本，而过于激进的衰减则会显著扩大估计器方差。我们发展了一种稳定框架，基于理论结果，将抽样概率的衰减受限，以避免方差和计算异常，同时通过原则化的超参数调优实现。我们进一步考虑对数似然梯度的无偏抽样估计器，实现梯度-based 推断。该提议估计器是抽样-based 推断的通用构建模块，可嵌入包括随机优化、变分贝叶斯和马尔可夫链蒙特卡洛等框架。应用于条件波动率模型，包括标准和阈值广义自回条件异方差模型，显示出在保持推断准确性的同时，实现了显著的计算加速。该方法优于均匀抽样，并与最近的随机梯度和分割-合作 MCMC 方法相比较在依赖数据方面表现良好。