AI委员会：面向网络数据自动验证与修复的多智能体框架

许多研究领域依赖网络数据来获取洞见并测试其方法。然而，收集全面的研究数据集通常需要手动审查大量网页以识别和记录相关数据点，这既费时费力又容易出错。虽然由大语言模型（LLM）驱动的网络智能体已经开始自动化这一过程的部分环节，但它们往往难以确保所收集数据的有效性。事实上，这些智能体表现出几种反复出现的失败模式——包括幻觉或遗漏数值、误解页面语义以及未能检测到无效信息——这些错误很隐蔽且难以手动检测和纠正。为了解决这个问题，我们引入了 AI委员会，这是一个新颖的模型无关多智能体系统，可自动化验证和修复网络数据集的过程。每个智能体专门负责数据质量保证流程中的不同任务，从来源审查和事实核查到数据修复和完整性验证。AI委员会利用各种 LLM 能力——包括用于数据集适配的上下文学习、用于复杂语义验证的思维链推理以及用于数据修复的自我纠正循环——所有这些均无需特定任务的训练。我们通过将其应用于三个真实世界数据集来证明我们系统的有效性，表明它能跨 LLM 泛化，并显著优于基线方法，实现了高达 78.7% 的数据完整性和高达 100% 的精确率。我们还进行了消融研究，证明了每个智能体对委员会性能的贡献。这项工作作为开源工具发布供研究社区使用。