神经图像压缩：泛化性、鲁棒性与频谱偏差
图像与视频处理
2023-10-31 v2 机器学习
摘要
神经图像压缩（NIC）近期的进展已产生开始超越经典编解码器的模型。虽然这导致人们对在真实世界应用中使用NIC的日益关注，但任何机器学习系统在真实环境中的成功采用都要求其对部署时未见的分布偏移具有泛化能力（且鲁棒）。遗憾的是，当前研究缺乏综合数据集和有用工具来评估和了解真实设置下NIC的性能。为弥补这一关键差距，首先，本文提出一个综合基准套件来评估图像压缩方法的分布外（OOD）性能。具体而言，我们通过向流行的CLIC和Kodak基准引入15种损坏而提供CLIC-C和Kodak-C。接下来，我们提出受频谱启发的检查工具，以更深入洞察图像压缩方法引入的误差及其OOD性能。然后我们对若干经典编解码器和NIC变体进行详细性能比较，揭示了挑战我们当前对NIC优势与局限理解的有趣发现。最后，我们用理论分析证实我们的实证发现，深入考察NIC的OOD性能及其对数据频谱性质的依赖。我们的基准、频谱检查工具和发现为NIC的真实世界采用提供了关键桥梁。我们希望我们的工作能推动未来设计鲁棒且可泛化的NIC方法的努力。代码和数据将发布于 https://github.com/klieberman/ood_nic。
引用
@article{arxiv.2307.08657,
title = {Neural Image Compression: Generalization, Robustness, and Spectral Biases},
author = {Kelsey Lieberman and James Diffenderfer and Charles Godfrey and Bhavya Kailkhura},
journal= {arXiv preprint arXiv:2307.08657},
year = {2023}
}
备注
NeurIPS 2023