面向端到端机器特征编码的基于多尺度特征重要性的比特分配
计算机视觉与模式识别
2025-03-26 v1 多媒体
摘要
面向机器的特征编码(Feature Coding for Machines, FCM)旨在为远程智能分析有效压缩中间特征,这对于未来的智能视觉应用至关重要.本文提出了一种基于多尺度特征重要性的比特分配(Multiscale Feature Importance-based Bit Allocation, MFIBA)方法,用于端到端 FCM.首先,我们发现特征对机器视觉任务的重要性随尺度、目标尺寸和图像实例的不同而变化.基于这一发现,我们提出了多尺度特征重要性预测(Multiscale Feature Importance Prediction, MFIP)模块,以预测每个尺度特征的重要性权重.其次,我们提出了任务损失率模型,用于建立使用压缩特征的任务精度损失与编码这些特征的比特率之间的关系.最后,我们开发了用于端到端 FCM 的 MFIBA 方法,能够根据多尺度特征的重要性更合理地为其分配编码比特.实验结果表明,与所保留的 Efficient Learned Image Compression (ELIC) 基线方法相比,所提出的 MFIBA 在目标检测任务上平均节省了 38.202% 的比特率.此外,所提出的 MFIBA 在实例分割和关键点检测任务上分别平均节省了 17.212% 和 36.492% 的特征比特率.当所提出的 MFIBA 应用于 LIC-TCM 时,在三项机器视觉任务上分别平均节省了 18.103%、19.866% 和 19.597% 的比特率,验证了所提出的 MFIBA 对不同机器视觉任务和 FCM 基础编解码器具有良好的通用性和适应性.
引用
@article{arxiv.2503.19278,
title = {Multiscale Feature Importance-based Bit Allocation for End-to-End Feature Coding for Machines},
author = {Junle Liu and Yun Zhang and Zixi Guo},
journal= {arXiv preprint arXiv:2503.19278},
year = {2025}
}