揭秘高性能科研网络中数据传输的性能表现
系统与控制
2023-08-22 v1 分布式、并行与集群计算
机器学习
网络与互联网体系结构
系统与控制
摘要
高速科研网络的建设旨在满足数据密集型分布式工作流日益增长的需求。然而,这些网络中的数据传输常因I/O与网络干扰、服务器配置错误及网络异常等原因,未能达到预期的传输速率。尽管理解性能问题的根本原因对于缓解问题并提高昂贵网络基础设施的利用率至关重要,但目前尚无可用机制来监测这些网络中的数据传输。本文提出一个可扩展的端到端监测框架,用于收集与存储文件传输的关键性能指标,从而揭示传输性能。评估结果表明,所提框架每台主机可监测多达400个传输、总计超过40,000个传输,同时以一秒精度收集性能统计信息。我们还引入一种启发式方法,自动处理所收集的性能指标,并以87%至98%的F分数识别性能异常的根本原因。
引用
@article{arxiv.2308.10312,
title = {Demystifying the Performance of Data Transfers in High-Performance Research Networks},
author = {Ehsan Saeedizade and Bing Zhang and Engin Arslan},
journal= {arXiv preprint arXiv:2308.10312},
year = {2023}
}
备注
11 pages, 7 figures, 6 tables