ColonyOS——一种面向异构平台分布式计算的元操作系统

本文介绍了 ColonyOS，一个开源的元操作系统，旨在改善包括物联网、边缘、云和高性能计算在内的多样化计算平台的集成与利用。ColonyOS 作为一个覆盖层运行，能够与广泛的计算环境接口，促进所谓计算连续体的创建。这使得开发能够跨平台运行的 AI 工作流和应用成为可能。其核心由分布式执行器组成，这些执行器基于分布式微服务架构与各种底层平台集成。这些执行器共同构成一个 colony，作为一个统一的计算单元。为实现各种平台的安全集成，每个 colony 都精确配置了所需资源，且所有通信都限制在 colony 内部，并受严格的零信任安全协议管理。与 ColonyOS 的交互通过提交计算任务的功能性元描述（称为功能规范）来完成。这些规范被发送至 Colonies 服务器，该服务器充当应用与执行器之间的中介。一旦分配任务，执行器会解释元描述并将其转换为可执行格式，例如 Kubernetes 部署描述、Slurm 脚本或执行器内的直接函数调用。此外，内置的元文件系统允许在元描述中包含数据同步指令，从而实现跨平台的无缝数据管理。最终，ColonyOS 为能够在计算连续体中无缝运行的超分布式应用和工作流的开发铺平了道路。本文描述了 ColonyOS 的设计原则与实现细节。