MAFA：面向企业规模的多智能体标注框架及可配置任务适应
机器学习
2026-03-23 v1 人工智能
计算与语言
摘要
我们提出了 MAFA（Multi-Agent Framework for Annotation，多智能体标注框架），一个已部署至生产环境的系统，通过可配置的多智能体协作来转变企业规模的标注工作流程。针对金融服务领域中数百万客户语料需要准确分类的关键挑战，MAFA 将专业智能体与结构化推理相结合，并引入基于仲裁的共识机制。我们的框架独特地支持动态任务适应，允许组织通过配置而非代码更改来定义自定义标注类型（FAQ、意图、实体或领域特定类别）。在 JP Morgan Chase 部署后，MAFA 已消除 100 万语料的标注积压，平均达成 86% 与人类标注员的一致性，年均节省超过 5000 小时的人工标注工作。该系统对语料进行标注置信度分类，我们测试的所有数据集中，这些置信度通常为 85% 高置信度、10% 中置信度和 5% 低置信度。这使得人类标注员能够仅专注于模糊和低覆盖率的案例。我们在多个数据集和语言上展示了 MAFA 的有效性，显示其在内部意图分类数据集以及类似基准上的表现均显著优于传统和单智能体标注基准：Top-1 准确率提高 13.8%，Top-5 准确率提升 15.1%，F1 分值提升 16.9%。该工作搭建了理论多智能体系统与实际企业部署之间的鸿沟，为面临类似标注挑战的组织提供了蓝图。
引用
@article{arxiv.2510.14184,
title = {MAFA: A Multi-Agent Framework for Enterprise-Scale Annotation with Configurable Task Adaptation},
author = {Mahmood Hegazy and Aaron Rodrigues and Azzam Naeem},
journal= {arXiv preprint arXiv:2510.14184},
year = {2026}
}