TensAIR：基于数据流实时训练神经网络
机器学习
2024-04-19 v2 数据库
分布式、并行与集群计算
摘要
来自数据流的数据流在线学习（OL）是一个新兴的研究领域，涵盖流处理、机器学习和网络方面的众多挑战。流处理平台（如 Apache Kafka 和 Flink）在流处理流水线中训练人工神经网络（ANNs）方面具有基础扩展。然而，这些扩展并非为实时训练 ANNs 而设计，且在实时训练时存在性能与可扩展性问题。本文提出 TensAIR，首个用于实时训练 ANNs 的 OL 系统。TensAIR 采用去中心化异步架构，通过 DASGD（去中心化异步随机梯度下降）训练 ANN 模型（无论是全新初始化还是预训练），从而取得卓越性能与可扩展性。我们通过实验证明，TensAIR 在（1）部署于网络中的工作节点数量，以及（2）数据批次到达数据流算子的吞吐量方面，均实现了近乎线性的横向扩展性能。我们通过考察稀疏（词嵌入）和稠密（图像分类）用例展现 TensAIR 的通用性，在这些用例中，TensAIR 相较于流处理流水线中训练 ANN 的先进系统实现了高出 6 至 116 倍的可持续吞吐量。
引用
@article{arxiv.2211.10280,
title = {TensAIR: Real-Time Training of Neural Networks from Data-streams},
author = {Mauro D. L. Tosi and Vinu E. Venugopal and Martin Theobald},
journal= {arXiv preprint arXiv:2211.10280},
year = {2024}
}