CrowdAgent：多智能体管理多来源标注系统
人工智能
2025-09-18 v1
摘要
高质量标注数据是现代自然语言处理(NLP)的基石。虽然近期方法开始利用多样化标注来源(包括大型语言模型LLMs、小型语言模型SLMs和人类专家)，但它们往往仅聚焦于标注步骤本身。管理这些来源以动态方式进行的整体过程控制仍存在关键缺口，需统一方式处理复杂的调度和质量成本权衡。在灵感来自真实世界众包公司的背景下，我们引入CrowdAgent，一个多智能体系统，通过集成任务分配、数据标注和质量成本管理，提供端到端过程控制。它实施一种新颖方法，合理分配任务，使LLMs、SLMs和人类专家在协作标注工作流程中实现协同进步。我们通过在六个多模态分类任务上的大规模实验展示了CrowdAgent的有效性。源码和视频演示可在https://github.com/QMMMS/CrowdAgent查阅。
引用
@article{arxiv.2509.14030,
title = {CrowdAgent: Multi-Agent Managed Multi-Source Annotation System},
author = {Maosheng Qin and Renyu Zhu and Mingxuan Xia and Chenkai Chen and Zhen Zhu and Minmin Lin and Junbo Zhao and Lu Xu and Changjie Fan and Runze Wu and Haobo Wang},
journal= {arXiv preprint arXiv:2509.14030},
year = {2025}
}