通过目标检测与过滤器集成进行多模态数据管理
计算机视觉与模式识别
2024-01-24 v1 机器学习
摘要
我们提出了一种用于管理多模态数据的方法，并将其用于我们参加2023年DataComp竞赛过滤赛道的参赛作品。我们的技术结合了目标检测和基于弱监督的集成。在我们方法两个步骤的第一步中，我们采用一个开箱即用的零样本目标检测模型来提取细粒度信息，并产生多种过滤器设计。在第二步中，我们利用弱监督来集成过滤规则。与性能最佳的基线相比，该方法带来了4%的性能提升，在撰写本文时在小规模赛道中取得了排名第一的位置。此外，在中规模赛道中，我们通过简单地使用弱监督集成现有基线，实现了比基线显著提升4.2%的性能。
引用
@article{arxiv.2401.12225,
title = {Multimodal Data Curation via Object Detection and Filter Ensembles},
author = {Tzu-Heng Huang and Changho Shin and Sui Jiet Tay and Dyah Adila and Frederic Sala},
journal= {arXiv preprint arXiv:2401.12225},
year = {2024}
}
备注
Appeared in the Workshop of Towards the Next Generation of Computer Vision Datasets (TNGCV) on ICCV 2023