面向实时边缘 AI 的基座模型联合分区与放置
分布式、并行与集群计算
2026-02-09 v1 机器学习
网络与互联网体系结构
摘要
在异构边缘环境中对大规模基座模型进行推理推测，需要 fundamentally 可重构的编排子系统。静态的模型层分区假设计算和网络资源的时间稳定性，这与现实部署中的波动性不符。我们引入一个框架，其中空间放置位置和模型内部分段都被提升为运行时解析的结构。该编排问题被形式化为在层级分配上受约束的优化，受到不断变化的延迟、资源利用率和隐私梯度的制约。该框架通过集成模型感知的容量轮廓、动态图分区和重新分配，实现对基础设施波动的反应式推理组合。我们引入了架构和算法组件，并提供了面向 6G 多接入边缘计算的代表性用例。
引用
@article{arxiv.2512.01039,
title = {Joint Partitioning and Placement of Foundation Models for Real-Time Edge AI},
author = {Aladin Djuhera and Fernando Koch and Alecio Binotto},
journal= {arXiv preprint arXiv:2512.01039},
year = {2026}
}