BRICS：图像集合的双层特征表示
计算机视觉与模式识别
2024-01-02 v3
摘要
我们提出 BRICS，一种用于图像集合的双层特征表示，其由一个位于特征网格空间之上的关键码空间组成。具体而言，我们的表示通过自动编码器学习，将图像编码为连续关键码，用于从多分辨率特征网格组中检索特征。我们的关键码与特征网格通过定义良好的梯度流持续联合训练，与离散向量量化（VQ）相比，实现了更高的特征网格利用率并改进了生成建模。与现有的连续表示（如 KL 正则化潜码）不同，我们的关键码在尺度和方差上严格有界。总体而言，BRICS 的特征编码紧凑、训练高效，并支持使用扩散模型在关键码上进行生成建模。实验结果表明，我们的方法在重建效果上与 VQ 相当，同时具有更小且更高效的译码器网络（GFlops 减少 50%）。通过在我们的关键码空间上应用扩散模型，我们在 FFHQ 和 LSUN-Church 数据集上的图像合成取得了最先进的性能（CLIP-FID 比 LDM 低 29%，比 StyleGAN2 低 32%，比 Projected GAN 低 44%）。
引用
@article{arxiv.2305.18601,
title = {BRICS: Bi-level feature Representation of Image CollectionS},
author = {Dingdong Yang and Yizhi Wang and Ali Mahdavi-Amiri and Hao Zhang},
journal= {arXiv preprint arXiv:2305.18601},
year = {2024}
}