面向无数据量化的鲁棒性引导图像合成

量化已成为模型压缩的一个有前景方向。近来，无数据量化作为避免隐私问题的有前景方法被广泛研究，其合成图像以替代真实训练数据。现有方法使用分类损失来确保合成图像的可靠性。遗憾的是，即便这些图像被预训练模型良好分类，仍受低语义与同质化问题困扰。直观上，这些低语义图像对扰动敏感，且当生成器合成语义较差的图像时，预训练模型往往输出不一致。为此，我们提出鲁棒性引导图像合成（RIS），一种简单而有效的方法，以丰富合成图像语义并改善图像多样性，进一步提升下游无数据压缩任务性能。具体而言，我们首先在输入与模型权重上引入扰动，然后定义扰动前后在特征与预测层级的不一致度量。基于两个层级的不一致性，我们设计鲁棒性优化目标以增强合成图像语义。此外，我们通过迫使生成器合成在标签空间中相关性小的图像，使方法具备多样性感知。借助 RIS，我们在无数据量化的多种设定下取得 SOTA 性能，并可扩展至其他无数据压缩任务。