超越边缘：超低功耗无线设备上的Transformer模型分布式推理
机器学习
2026-05-19 v2
摘要
Transformer模型正迅速成为现代物联网（IoT）应用的基石，但其计算和内存需求远超单个典型超低功耗物联网设备的能力。我们提出了CATS，一个在超低功耗无线设备上进行分布式Transformer推理的框架，使多个设备能够协作执行远超单个设备承载能力的模型。CATS的核心是一种通信感知的分布式Transformer推理方案，该方案在Transformer划分、无线通信和训练方面进行了协同设计。它采用了一种名为SomeGather的新型剪枝通信原语，该原语选择性地广播激活列，以减少通信带宽和RAM使用，同时不牺牲模型精度。基于SomeGather，我们设计了一种利用此原语实现高效模型并行的划分方法。为应对不可靠的无线通信，CATS在训练期间采用消息丢弃策略，模拟数据包丢失，从而产生在推理期间对消息丢失具有鲁棒性的模型。在真实世界实验中，我们首次展示了CATS将分布式Transformer推理引入超低功耗无线设备，在多达16个设备上的部署中，协同执行了比单个设备所能运行的模型大14倍的Transformer模型。
引用
@article{arxiv.2605.15694,
title = {Going Beyond the Edge: Distributed Inference of Transformer Models on Ultra-Low-Power Wireless Devices},
author = {Alexander Gräfe and Ding Huo and Vincent de Bakker and Johannes Berger and Marco Zimmerling and Sebastian Trimpe},
journal= {arXiv preprint arXiv:2605.15694},
year = {2026}
}