面向机器到机器通信的神经网络图像压缩分析
图像与视频处理
2022-05-16 v1
摘要
面向机器的视频与图像编码（VCM）是一个新兴领域，旨在开发当解码帧由神经网络分析时能产生最优码流的压缩方法。已有若干方法改进了用于此任务的经典混合编解码器。然而，神经压缩网络（NCN）在过去几年中在图像编码方面取得了巨大进展。因此，当解码端的信息汇也是神经网络时，考虑此类 NCN 是合理的。为此，我们建立了一个评估框架，分析四种最先进 NCN 在 Mask R-CNN 从解码图像中分割物体时的性能。压缩性能通过 Cityscapes 数据集的加权平均精度来衡量。基于该分析，我们发现具有 leaky ReLU 作为非线性且以 SSIM 为失真准则训练的网络在 VCM 任务中带来最高的编码增益。此外，结果表明基于 GAN 的 NCN 架构实现了最佳的编码性能，甚至在给定的场景下优于最近标准化的 Versatile Video Coding (VVC)。
引用
@article{arxiv.2205.06511,
title = {Analysis of Neural Image Compression Networks for Machine-to-Machine Communication},
author = {Kristian Fischer and Christian Forsch and Christian Herglotz and André Kaup},
journal= {arXiv preprint arXiv:2205.06511},
year = {2022}
}
备注
Originally submitted at IEEE ICIP 2021