中文

粒度思考:利用多粒度线索的图像超分辨率动态量化

图像与视频处理 2024-12-24 v2 计算机视觉与模式识别

摘要

动态量化在图像超分辨率(SR)领域引起了越来越多的关注,因为它在保持竞争力的性能的同时,将繁重的 SR 模型的潜力扩展到了移动设备上。现有方法探索了不同局部区域上的层到位配置,自适应地为每一层和每个图像块分配比特。尽管具有这些优势,它们在 SR 精度和量化效率的权衡上仍存在不足。此外,单独为每一层调整量化级别可能会破坏原有的层间关系,从而削弱量化模型的表示能力。在本工作中,我们提出了 Granular-DQ,该方法利用图像的内在特征,同时摒弃了量化中以往对层敏感度的考量。Granular-DQ 对局部图像块进行多粒度分析,并进一步探索其信息密度,实现了一种独特的逐块且层不变的动态量化范式。具体而言,Granular-DQ 首先开发了一个粒度-比特控制器(GBC),以捕获不同图像块从粗到细的粒度表示,并根据其对整幅图像的比例贡献来决定适当的比特宽度分配。在此基础上,我们研究了比特宽度与信息密度之间的关系,设计了一种熵到位(E2B)机制,该机制能够对高比特图像块进行进一步的细粒度动态比特自适应。大量实验验证了 Granular-DQ 在各种 SR 模型上相对于近期最先进方法的优越性和泛化能力。代码和补充说明可在 \url{https://github.com/MmmingS/Granular-DQ.git} 找到。

关键词

引用

@article{arxiv.2409.14330,
  title  = {Thinking in Granularity: Dynamic Quantization for Image Super-Resolution by Intriguing Multi-Granularity Clues},
  author = {Mingshen Wang and Zhao Zhang and Feng Li and Ke Xu and Kang Miao and Meng Wang},
  journal= {arXiv preprint arXiv:2409.14330},
  year   = {2024}
}

备注

AAAI 2025