当三个实验优于两个：利用新型偏差-方差权衡避免难以处理的 correlated aleatoric uncertainty
机器学习
2025-09-05 v1
摘要
现实世界的实验场景以存在异方差 aleatoric uncertainty 为特征，且在批处理设置中该不确定性可以是相关的。偏差-方差权衡可用于将模型分布与真实随机变量之间的期望均方误差写为认知不确定性项、偏差平方与 aleatoric uncertainty 项之和。我们利用这一关系提出了新的主动学习策略，在考虑含噪声与不含噪声模型系统的情况下，直接减少实验轮次间的偏差。最后，我们研究了通过一种新的协偏差-协方差关系以二次方式利用历史数据的方法，该方法通过特征分解策略自然地提出了一种批处理机制。当我们在批处理设置中（使用二次估计器）利用协偏差-协方差关系的基于差分的方法时，其性能优于包括 BALD 和 Least Confidence 在内的多种经典方法。
引用
@article{arxiv.2509.04363,
title = {When three experiments are better than two: Avoiding intractable correlated aleatoric uncertainty by leveraging a novel bias--variance tradeoff},
author = {Paul Scherer and Andreas Kirsch and Jake P. Taylor-King},
journal= {arXiv preprint arXiv:2509.04363},
year = {2025}
}
备注
16 pages, 5 figures