关于启发式估计器的迭代期望定律

Christiano等人（2022）定义了`启发式估计器'为一种从参数估算数学表达式值的假设性算法。简而言之，启发式估计器$\mathbb{G}$以数学表达式$Y$和形式的`启发式参数'$\pi$为输入，输出对$Y$的估计$\mathbb{G}(Y \mid \pi)$。本文我们认为，启发式估计器不应能预测自身误差，并探讨了 formalize此原则的方法。最简单地，此原则表明$\mathbb{G}(Y - \mathbb{G}(Y \mid \pi) \mid \pi)$应对所有$Y$和$\pi$均为零。我们认为，理想的启发式估计器应具备两个更强的属性，这我们称为`迭代估计'（类比于期望的迭代定律）和`误差正交性'。尽管迭代估计和误差正交性直观上令人满意，但判定给定启发式估计器是否满足这些属性可能较困难。作为替代方法，我们探讨了`准确性'：即大致表明$\mathbb{G}$在数学表达式分布上具有零平均误差的属性。然而，在两个估计问题中，我们展示了创建准确启发式估计器的障碍。我们通过讨论寻找符合我们对启发式估计器应如何行为的直观理解的挑战，以及启发式估计器应用于理解神经网络行为的潜在应用，展望了未来的可能路径。