Synergy：通过可穿戴设备上的微型 AI 加速器协作实现体上人工智能
分布式、并行与集群计算
2025-04-24 v3 机器学习
摘要
微型人工智能（AI）加速器的出现使 AI 能够在极端边缘运行，提供更低的延迟、更低的功耗和更好的隐私保护。当集成到可穿戴设备中时，这些加速器开启了令人兴奋的可能性，使各种 AI 应用能够直接在身体上运行。我们提出 Synergy，它通过系统驱动的、配备 AI 加速器的可穿戴设备间的整体协作，为 AI 应用提供尽力而为的性能。为实现这一目标，Synergy 为 AI 应用提供设备无关的编程接口，使系统能够洞察并控制应用的资源使用。然后，Synergy 通过为每个应用创建考虑 AI 加速器可用性的多种执行计划，并智能地选择最佳执行计划集，来最大化并发 AI 模型的推理吞吐量。Synergy 还通过利用多个计算单元上的并行化机会进一步提高吞吐量。我们使用 7 个基线和 8 个模型进行的评估表明，与基线相比，Synergy 平均实现了 23.0 倍的吞吐量提升，同时降低了 73.9% 的延迟和 15.8% 的功耗。
引用
@article{arxiv.2401.08637,
title = {Synergy: Towards On-Body AI via Tiny AI Accelerator Collaboration on Wearables},
author = {Taesik Gong and Si Young Jang and Utku Günay Acer and Fahim Kawsar and Chulhong Min},
journal= {arXiv preprint arXiv:2401.08637},
year = {2025}
}
备注
Accepted for publication in IEEE Transactions on Mobile Computing (TMC)