请专家：面向视觉 Transformer 的近边缘加速器协同推理
计算机视觉与模式识别
2026-02-17 v1 分布式、并行与集群计算
机器学习
摘要
在边缘设备上部署视觉 Transformer 具有挑战性，因为其计算复杂度高；而完全卸载到云端资源则会带来显著的延迟开销。我们提出了一种新颖的协同推理框架，该框架在边缘设备上协调一个轻量级通用 ViT，并在靠近边缘的加速器上部署多个中等规模的专家 ViT。一种新颖的路由机制使用边缘模型的 Top- 预测结果，以动态选择样本置信度较低时最相关的专家。我们进一步设计了渐进式专家训练策略，以提高模型在数据集子集上的准确性。广泛的在 CIFAR-100 数据集上的实验使用真实的边缘和靠近边缘测试环境表明，我们的框架优于现有方法。具体而言，提出的训练策略在目标子集上提高了专家专业化准确率 4.12%，并在相对于静态专家的整体准确率提升 2.76%。此外，我们的方法相对于边缘执行将延迟降低最高 45%，能耗降低最高 46%。
引用
@article{arxiv.2602.13334,
title = {Ask the Expert: Collaborative Inference for Vision Transformers with Near-Edge Accelerators},
author = {Hao Liu and Suhaib A. Fahmy},
journal= {arXiv preprint arXiv:2602.13334},
year = {2026}
}