面向基于期望目标的 GO Hessian

近期提出了一种无偏低方差梯度估计器，称为 GO 梯度，用于基于期望的目标 $\mathbb{E}_{q_{\boldsymbol{\gamma}}(\boldsymbol{y})} [f(\boldsymbol{y})]$，其中随机变量（RV）$\boldsymbol{y}$ 可抽取自具有连续（不可重参数化）内部节点与连续/离散叶的随机计算图。在 GO 梯度基础上，我们针对 $\mathbb{E}_{q_{\boldsymbol{\boldsymbol{\gamma}}}(\boldsymbol{y})} [f(\boldsymbol{y})]$ 提出一种无偏低方差 Hessian 估计器，命名为 GO Hessian。考虑到实际实现，我们指出 GO Hessian 易于借助自动微分与 Hessian-向量积使用，从而能够在随机计算图上高效廉价地利用曲率信息。作为代表性示例，我们给出了针对不可重参数化 gamma 与负二项 RV/节点的 GO Hessian。基于 GO Hessian，我们为 $\mathbb{E}_{q_{\boldsymbol{\boldsymbol{\gamma}}}(\boldsymbol{y})} [f(\boldsymbol{y})]$ 设计了一种新的二阶方法，并进行了严谨实验以验证其有效性与效率。