利用局部敏感哈希评估GAN训练后压缩
机器学习
2021-03-23 v1 人工智能
计算机视觉与模式识别
摘要
生成对抗网络（GANs）在计算与内存需求日益增长趋势下，对其训练后（即无任何微调）压缩效应的分析仍是一个未被研究但重要的课题。现有工作讨论了训练期间压缩GAN的困难，需要针对GAN训练不稳定性设计的新方法；而我们表明，现有压缩方法（即剪裁与量化）可直接用于训练后压缩GAN，无需任何额外改动。高压缩水平可能扭曲生成集合，可能导致离群点增加，从而对基于k近邻（KNN）的现有指标整体评估产生负面影响。我们提出两种基于局部敏感哈希（LSH）的新精度与召回率指标，除提升离群点鲁棒性外，还将评估样本相对于个参考样本的复杂度从降至（若使用LSH与KNN）以及（若仅用LSH）。我们表明，多个预训练GAN在多个数据集上的低比特压缩引发了精度与召回率之间的权衡，在保持样本质量的同时牺牲了样本多样性。
引用
@article{arxiv.2103.11912,
title = {Evaluating Post-Training Compression in GANs using Locality-Sensitive Hashing},
author = {Gonçalo Mordido and Haojin Yang and Christoph Meinel},
journal= {arXiv preprint arXiv:2103.11912},
year = {2021}
}