面向边缘设备的按需多任务稀疏化
机器学习
2025-11-26 v1 人工智能
计算机视觉与模式识别
摘要
稀疏化对于在资源受限的边缘平台上部署大型模型至关重要。然而，针对单个任务独立优化稀疏模式会忽略频繁任务切换期间产生的显著I/O开销。我们引入一种针对最小化切换成本通过最大化参数复用而设计的按需多任务稀疏框架。与单一方法不同，我们将权重分解为可重用的数据块级单元并对齐稀疏结构跨任务以最大化重叠。通过动态加载所需下一个任务的小型差异块集，我们的方法有效地缓解了传统单体方法中固有的冷启动延迟。实验在真实的自动驾驶平台上表明，我们的框架在切换效率方面优于现有稀疏方法，平均加快了6.6倍以上的任务切换速度。
引用
@article{arxiv.2511.19986,
title = {On-Demand Multi-Task Sparsity for Efficient Large-Model Deployment on Edge Devices},
author = {Lianming Huang and Haibo Hu and Qiao Li and Nan Guan and Chun Jason Xue},
journal= {arXiv preprint arXiv:2511.19986},
year = {2025}
}