Polymorph：面向嵌入式设备的能效感知多标签视频分类
计算机视觉与模式识别
2026-01-13 v3 性能
摘要
嵌入式设备上的实时多标签视频分类受限于计算和能源预算。然而，视频流具有标签稀疏性、时间连续性和标签共现性等结构特性，可为更高效的推理提供支持。我们引入 Polymorph 框架，采用感知上下文的方式，每帧激活最小集合的轻量级低秩适配器（Low Rank Adapter）。每个适配器针对由共现模式派生的类别子集进行专业化，其实现为基于共享主干网络的 LoRA 权重。在运行时，Polymorph 动态选择并组合覆盖活跃标签所需的适配器，避免完整模型切换和权重合并。这种模块化策略在提高可扩展性的同时，显著降低延迟和能源开销。实验表明，Polymorph 在 TAO 数据集上相较于强基准方法实现能耗降低 40%，mAP 提升 9 分。Polymorph 项目开源于 https://github.com/inference-serving/polymorph/。
引用
@article{arxiv.2507.14959,
title = {Polymorph: Energy-Efficient Multi-Label Classification for Video Streams on Embedded Devices},
author = {Saeid Ghafouri and Mohsen Fayyaz and Xiangchen Li and Deepu John and Bo Ji and Dimitrios Nikolopoulos and Hans Vandierendonck},
journal= {arXiv preprint arXiv:2507.14959},
year = {2026}
}
备注
Accepted at the IEEE/CVF winter conference on applications of computer vision (WACV 2026)