面向 ML 数据密集型应用的无服务器与高性能计算范式融合
机器人学
2025-11-18 v1
摘要
数据无处不在，涵盖健康、人类基础设施以及传感器和互联网联接设备的浩瀚增长。为应对这一挑战，数据工程领域在近年来在研究和产业界显著扩展。传统情况下，数据工程、机器学习和人工智能工作负载运行于数据中心环境中的大型集群中，需要大量硬件投资和维护。随着公共云的兴起，现在可以在不拥有或维护传统云基础设施的情况下跨节点运行大型应用。无服务器函数（如 AWS Lambda）提供水平扩展和精确计费，无需管理传统云基础设施。然而，在处理大型数据集时，用户常依赖外部存储选项，其速度显著慢于典型 HPC 集群中直接通信。我们引入 Cylon，这是一个高性能分布式数据框解决方案，已显示出针对数据处理使用 Python 的有前景结果。我们描述了如何受 FMI 库的启发，设计了一种无服务器通信器以解决无服务器函数所固有的问题。通过我们的设计，我们展示了 AWS Lambda 的扩展效率在 64 个节点时仅落后于服务器式 AWS (EC2) 的 6.5%，该结果通过在 NAT 穿透 TCP 洞穴实现直接通信得以实现。
关键词
引用
@article{arxiv.2511.12186,
title = {Innovative Design of Multi-functional Supernumerary Robotic Limbs with Ellipsoid Workspace Optimization},
author = {Jun Huo and Jian Huang and Jie Zuo and Bo Yang and Zhongzheng Fu and Xi Li and Samer Mohammed},
journal= {arXiv preprint arXiv:2511.12186},
year = {2025}
}