标签噪声下分类的模型无关信息迁移与融合

标签噪声对现代机器学习提出了根本性挑战，尤其是当大规模数据集通过自动化过程生成时。一种日益普遍且重要的数据范式，特别是在医学成像等领域，涉及从具有粗糙、噪声标签的大型数据集中学习，并辅以一个小型的、经专家验证的干净数据集。这种设置构成了典型的信息迁移与融合问题。然而，噪声数据和干净数据之间显著的分布偏移违反了现有统计迁移学习方法的核心整体参数相似性假设，而它们对参数模型的依赖不适合图像等复杂数据。为了解决这些局限性，本文开发了一个用于标签噪声下分类的通用模型无关非参数框架，适用于广泛的分类器类别。我们的方法利用小型干净数据集来“净化”大型噪声数据集，并仔细管理剩余的模糊样本。该框架以严格的统计理论为基础。其经验性能通过模拟以及一项用于肺炎诊断的医学图像分析真实世界应用得到了证明。