RK-core：一种用于探索数据集内部层次结构的成熟方法
机器学习
2023-10-20 v1 人工智能
计算机视觉与模式识别
摘要
近来，机器学习领域经历了从以模型为中心到以数据为中心的转变。各类学习任务的进展由更庞大数据集的积累所推动，进而促进了在这些数据集上训练更大的模型。然而，这些数据集仍相对未被充分探索。为此，我们引入一种称为 RK-core 的开拓性方法，以助深入理解数据集内部复杂的层次结构。在多个基准数据集上，我们发现核心度值较低的样本对其各自类别的代表性较弱，反之，核心度值较高的样本表现出更强的代表性。相应地，与核心度值较低的样本相比，核心度值较高的样本对性能的贡献更为显著。在此基础上，我们进一步采用 RK-core 分析不同核心集选择方法下样本的层次结构。值得注意的是，我们发现高质量的核心集应展现层次多样性，而非仅仅选择代表性样本。代码见 https://github.com/yaolu-zjut/Kcore。
引用
@article{arxiv.2310.12168,
title = {RK-core: An Established Methodology for Exploring the Hierarchical Structure within Datasets},
author = {Yao Lu and Yutian Huang and Jiaqi Nie and Zuohui Chen and Qi Xuan},
journal= {arXiv preprint arXiv:2310.12168},
year = {2023}
}