AutoStreamPipe: LLM 辅助的数据流处理管道自动生成
人工智能
2025-10-28 v1 分布式、并行与集群计算
新兴技术
机器学习
多智能体系统
摘要
数据管道在流处理中至关重要，因其能够高效地收集、处理和交付实时数据，支持快速数据分析。本文提出 AutoStreamPipe，一种新型框架，采用大型语言模型 (LLM) 自动化设计、生成和部署流处理管道。AutoStreamPipe 通过集成超图思维 (HGoT) 作为 GoT 的扩展版本，弥合了高层用户意图与分布式流处理系统之间平台特定实现之间的语义鸿沟，以实现结构化多智能体推理。AutoStreamPipe 结合了韧性执行策略、先进的查询分析和 HGoT，交付具有良好准确性的管道。基于多样化管道的实验评估显示，AutoStreamPipe 相较于 LLM 代码生成方法显著减少开发时间 (x6.3) 和错误率 (x5.19)，其误差自由得分 (EFS) 作为衡量标准。
引用
@article{arxiv.2510.23408,
title = {AutoStreamPipe: LLM Assisted Automatic Generation of Data Stream Processing Pipelines},
author = {Abolfazl Younesi and Zahra Najafabadi Samani and Thomas Fahringer},
journal= {arXiv preprint arXiv:2510.23408},
year = {2025}
}
备注
Under review