MCUCoder：面向 IoT 设备的自适应比特率学习视频压缩
图像与视频处理
2024-12-02 v1 计算机视觉与模式识别
摘要
相机型 IoT 设备的快速增长对高效视频压缩提出了需求，尤其是在设备面临硬件限制、仅有 1 或 2 MB RAM 和不稳定网络连接的边缘应用中。传统和深度视频压缩方法设计用于高端硬件，超出了这些受限设备的能力。因此，这些场景下的视频压缩常常仅限于 M-JPEG due to its high hardware efficiency and low complexity。本文引入了一种开源自适应比特率视频压缩模型，专为资源受限的 IoT 环境设计。MCUCoder 的编码器仅包含 10.5K 参数，内存占用仅 350KB，非常适合边缘设备和 MCU。虽然 MCUCoder 使用的能源与 M-JPEG 相似，但它在 MCL-JCV 数据集上将比特率降低了 55.65%，在 UVG 数据集上降低了 55.59%，以 MS-SSIM 为衡量标准。此外，MCUCoder 支持自适应比特率流，通过生成按重要性排序的潜在表示，允许根据可用带宽进行传输。这确保了在低资源设备上即使网络条件波动，也能实现顺畅的实时视频传输。源码可在 https://github.com/ds-kiel/MCUCoder 获取。
引用
@article{arxiv.2411.19442,
title = {MCUCoder: Adaptive Bitrate Learned Video Compression for IoT Devices},
author = {Ali Hojjat and Janek Haberer and Olaf Landsiedel},
journal= {arXiv preprint arXiv:2411.19442},
year = {2024}
}