crowd-hpo: 面向带噪标签的众包超参数优化与基准测试
机器学习
2025-07-18 v2
摘要
众包是获取类别标签的高性价比方案。由于这些标签受噪声影响，已提出各种从众包中学习的方法。通常，这些方法采用默认的超参数配置进行评估，导致不公平且次优的性能；或使用带有真实类别标签的验证集进行超参数调优，代表着常常不切实际的情景。此外，这两种 setup 可能产生不同的方法排名，使研究比较复杂化。因此，我们引入 crowd-hpo 作为一种用于综合评估从众包中学习方法的框架，并提供若干准则以选择仅使用噪声众包标签验证数据的高性能超参数配置。通过对神经网络进行大量实验，我们展示这些准则所选取的超参数配置能够提升从众包方法的泛化性能，这些性能在独立的测试集上使用真实标签进行测量。因此，在实验研究中纳入此类准则对于实现更公平、更真实的基准测试至关重要。
引用
@article{arxiv.2504.09085,
title = {crowd-hpo: Realistic Hyperparameter Optimization and Benchmarking for Learning from Crowds with Noisy Labels},
author = {Marek Herde and Lukas Lührs and Denis Huseljic and Bernhard Sick},
journal= {arXiv preprint arXiv:2504.09085},
year = {2025}
}
备注
Under review