无标签数据上噪声评判者的流式评估算法——二分类

无标签数据上噪声二分类器的评估被视为一项流式任务：给定集成分类器决策的数据草图（data sketch），估计标签的真实流行率以及每个分类器对其的准确率。为此构造了两个完全代数化的评估器。两者均基于分类器误差相互独立的假设。第一个基于多数投票。第二个（本文主要贡献）保证正确。但如何得知分类器在任一给定测试上独立？这一委托/代理监控悖论通过利用独立评估器无法返回合理估计的失效得以缓解。在使用 \texttt{adult}、\texttt{mushroom} 和 \texttt{two-norm} 数据集时，通过代数失效模式拒绝相关性过强的评估集成，对近似误差独立三元组进行了经验搜索。通过构造评估空间中包含真值点的曲面来精炼搜索。任意相关分类器的代数允许选取不含任何相关变量的多项式子集。若候选评估集成的数据草图产生的独立估计离所构造曲面过远，则被拒绝。存活集成产生的结果有时可优至 1\%。但即便处理少量相关性仍具挑战。当假设独立性而分类器实际略相关时，所产生估计的泰勒展开有助于阐明独立评估器的代数“盲点”。