长期实验中的偏差-方差权衡
统计方法学
2025-11-05 v1 计量经济学
摘要
当我们耗尽能够减少方差而不引入偏差的方法后，减少实验中的方差往往需要接受某种偏差，如采用winsor化或替代指标。虽然这种偏差-方差权衡可以针对单个实验进行优化，但偏差可能随时间累积，引发长期优化的担忧。我们分析了在偏差可累积的情况下是否应接受偏差，并证明在长期环境下仍然存在偏差-方差权衡。提高信噪比仍有益处，即使它引入偏差。这意味着我们应从认为存在唯一“正确”且无偏差的指标，转向在实现更高精度（以偏差为代价）时如何做出最佳估计与决策。此外，我们的模型为此前发现的表明较宽松发布准则可带来改进结果的观察增添了细微差别。我们证明，当系统远离最优时，这种做法有益，但随着系统成熟，采用更严格的发布准则更为可取。
引用
@article{arxiv.2511.02792,
title = {The Bias-Variance Tradeoff in Long-Term Experimentation},
author = {Daniel Ting and Kenneth Hung},
journal= {arXiv preprint arXiv:2511.02792},
year = {2025}
}