INAR-VL：面向边云视觉语言推理的数据感知路由
机器学习
2026-05-20 v1 计算机视觉与模式识别
分布式、并行与集群计算
摘要
边缘部署视觉语言模型（VLM）面临时延与精度的权衡：云端执行提供高质量预测但产生通信延迟与能耗成本，而边缘单机执行更快但因模型容量受限精度较低。这种权衡因图像质量与推理复杂度的异构性而被进一步复杂化，导致静态部署次优。我们提出INAR-VL，一种轻量级边云路由系统，用于多模态推理的两层部署。INAR-VL在边缘与云端维护互补的VLM，并利用轻量级图像与文本复杂度信号引导路由与模型选择，对简单查询本地执行，对有益时卸载复杂查询。在视觉问答任务上评估显示，INAR-VL执行36%的请求在边缘，时延降低24%，能耗降低26%，保持97%的云端级精度。
引用
@article{arxiv.2605.18853,
title = {INAR-VL: Input-Aware Routing for Edge-Cloud Vision-Language Inference},
author = {Ahmed Šabanović and Paul Joe Maliakel and Ivona Brandić},
journal= {arXiv preprint arXiv:2605.18853},
year = {2026}
}
备注
8 pages, 3 figures