中文

孪生网络中 Dropout 方差的局部化

机器学习 2026-05-13 v2 人工智能 机器学习

摘要

准确的个体处理效应估计不仅需要可靠的点预测,还需要帮助从业者定位模型失败来源的不确定性度量。我们为深度孪生网络模型引入了一种逐层方差分解:通过在共享编码器和结果预测头中独立切换 Monte Carlo Dropout,我们将总预测方差分解为编码器分量(σenc2\sigma_{\mathrm{enc}}^2)和头分量(σhead2\sigma_{\mathrm{head}}^2),根据全方差定律有 σenc2+σhead2σtot2\sigma_{\mathrm{enc}}^2 + \sigma_{\mathrm{head}}^2 \approx \sigma_{\mathrm{tot}}^2。在三种合成协变量偏移机制中,编码器分量在分布偏移下占主导地位(ρenc=0.53\rho_{\mathrm{enc}}=0.53),而头分量仅在编码器不确定性被控制后才变得具有信息量。在一个具有诱导多元偏移的真实世界孪生队列中,只有 σenc2\sigma_{\mathrm{enc}}^2 在分布外样本上出现激增并成为主要的误差预测因子(ρenc ⁣ ⁣0.89\rho_{\mathrm{enc}}\!\approx\!0.89),而 σhead2\sigma_{\mathrm{head}}^2 保持平稳。该分解在标准 MC Dropout 基础上增加的成本微乎其微,并为决定是收集更多样化的协变量还是更多结果数据提供了实用的诊断工具。

关键词

引用

@article{arxiv.2507.03622,
  title  = {Localising Dropout Variance in Twin Networks},
  author = {Cooper Doyle},
  journal= {arXiv preprint arXiv:2507.03622},
  year   = {2026}
}

备注

14 pages, 5 figures, 3 tables