面向高效多模态边缘推理的模态感知零-shot剪枝与稀疏注意力
机器学习
2026-04-13 v1
摘要
边缘设备日益运行多模态感知管道，必须在波动的功耗预算和不可预测的传感器丢失条件下保持准确性。现有剪枝方法在此条件下难以满足：它们通常需要在压缩后进行微调，消耗超过部署能源的10倍，且分配静态重要性得分，无法区分哪些传感器被呈现。我们提出SentryFuse框架，通过两个关键组件共同解决上述挑战。首先，SentryGate通过一阶灵敏度监督在训练期间学习模态条件化重要性得分，然后在部署时无需微调即可剪枝注意力头和前馈通道。其次，SentryAttend将密集自注意力（是当代多模态架构中的关键瓶颈）替换为稀疏分组查询注意力，实现了跨三种不同多模态架构的GFLOPs降低15%。在三个应用和多模态主干网络上，SentryGate相对于最强剪枝基线实现了12.7%的平均准确率提升，在模态丢失条件下可达最高18%。综合而言，SentryFuse在无需进一步微调的情况下将内存降低28.2%，延迟降低最高可达 ，确立了模态感知零shot压缩为异构边缘硬件上的多模态智能提供了实用的路径。
引用
@article{arxiv.2604.08971,
title = {Modality-Aware Zero-Shot Pruning and Sparse Attention for Efficient Multimodal Edge Inference},
author = {Yueyuan Sui and Payal Mohapatra and Doğaç Eldenk and Haodong Yang and Yiting Zhang and Haoyan Zhang and Qi Zhu and Stephen Xia},
journal= {arXiv preprint arXiv:2604.08971},
year = {2026}
}