面向人类引导的数据中心 LLM 协作系统

机器学习 (ML) 有望 revolutionize 各个领域，但其实际应用常因领域专家需求与将这些需求转化为稳健有效 ML 工具之间的鸿沟而受阻。尽管近期的 LLM 基于协作系统致力于为非技术性领域专家民主化 ML，但这些系统仍主要聚焦于模型层面的考量，忽视了数据中心挑战。这种局限在实际复杂情境中尤为棘手，因为原始数据常包含缺失值、标签噪声及需特定处理的领域特性。为此，我们提出 CliMB-DC，一个人类引导的数据中心框架，用于 LLM 协作系统，将先进的数据中心工具与 LLM 驱动的推理相结合，实现稳健且情境感知的数据处理。CliMB-DC 的核心引入了一种新型多智能体推理系统，融合用于动态规划与自适应的战略协调器，以及用于精确执行的专用工人智能体。通过人类在环方法系统性地整合领域知识，以引导推理过程。为指导开发，我们构建了协作系统必须解决的关键数据中心挑战的分类框架。随后，整合最新的数据中心工具于可扩展开源架构中，便利研究社区添加新工具。我们通过真实医疗保健数据集的实证实验，展示 CliMB-DC 能够将未经整理的数据转化为 ML 就绪格式，显著优于现有协作系统基准，有效处理数据中心挑战。CliMB-DC 有望使来自医疗保健、金融、社会科学等多元领域的专家能够积极参与驱动实际应用中的 ML 影响。