质量胜于数量：通过集成多模态数据 curated 提升数据效率
机器学习
2025-06-13 v2 人工智能
摘要
在数据泛滥的时代，有效地对网页抓取数据集进行 curated 至关重要，以优化模型性能。本文解决了此类数据集非结构化和异构性质带来的挑战。传统的启发式数据 curated 方法往往不足以捕捉复杂特征，导致偏差并排除相关数据。我们引入一种高级的学习驱动方法，集成数据 curated 通过多模态算子（Ensemble Curation Of DAta ThroUgh Multimodal Operators, EcoDatum）， incorporates a 新颖的质量导向去重方法以确保特征分布的平衡。EcoDatum 战略性地整合了各种单模态和多模态数据 curated 算子 within 一个弱监督集成框架，利用自动化优化对每个数据点进行有效评分。EcoDatum 显著提升了数据 curated 的质量和效率，超越了现有的领先方法（state-of-the-art, SOTA），在 DataComp 排行榜中名列第 1，38 个多样化评估数据集上平均性能得分为 0.182，这比 DataComp 基线方法提高了 28%，证明了其在提高数据 curated 和模型训练效率方面的有效性。
关键词
引用
@article{arxiv.2502.08211,
title = {Quality over Quantity: Boosting Data Efficiency Through Ensembled Multimodal Data Curation},
author = {Jinda Xu and Yuhao Song and Daming Wang and Weiwei Zhao and Minghua Chen and Kangliang Chen and Qinya Li},
journal= {arXiv preprint arXiv:2502.08211},
year = {2025}
}