基于有限块长分析的池化式主动学习：通过标签复杂度进行特征化
机器学习
2026-02-06 v1 信息论
math.IT
摘要
本文提出了一个信息论框架，用于分析池化式主动学习（AL）的理论极限，其中对子集实例进行选择性标注。该框架通过将池中观察映射到带噪声的符号观察、数据选择转化为压缩、学习转化为解码， 将池化式AL重新表述为带噪声的有损压缩问题。这一对应关系使我们能够统一地对池化式AL中的数据选择和学习进行信息论分析。应用带噪声的有损压缩的有限块长分析，我们推导了关于标签复杂度和泛化误差的信息论下界，作为给定学习算法及其关联最优数据选择策略下的理论极限。具体而言，我们的下界包含反映学习算法引起的过拟合以及其归纳偏差与目标任务之间差异的项，与已建立的各种信息论下界和稳定性理论密切相关，这些先前的下界尚未被应用于池化式AL的分析。这些特性为池化式AL提供了新的理论视角。
引用
@article{arxiv.2602.05333,
title = {Pool-based Active Learning as Noisy Lossy Compression: Characterizing Label Complexity via Finite Blocklength Analysis},
author = {Kosuke Sugiyama and Masato Uchida},
journal= {arXiv preprint arXiv:2602.05333},
year = {2026}
}
备注
21 pages, 1 figure