AutoReCon：基于神经架构搜索的无数据压缩重建方法
计算机视觉与模式识别
2021-05-27 v1 图像与视频处理
摘要
无数据压缩带来了新的挑战，因为待压缩的预训练模型的原始训练数据集由于隐私或传输问题而不可用。因此，一种常见方法是在压缩前计算一个重建的训练数据集。当前的重建方法利用预训练模型的信息，通过生成器计算重建的训练数据集。然而，当前的重建方法侧重于从预训练模型提取更多信息，却未利用网络工程。本工作是首个将网络工程视为设计重建方法途径的研究。具体而言，我们提出 AutoReCon 方法，一种基于神经架构搜索的重建方法。在提出的 AutoReCon 方法中，给定预训练模型用于重建，生成器架构被自动设计。实验结果表明，使用由 AutoRecon 方法发现的生成器总能提升无数据压缩的性能。
引用
@article{arxiv.2105.12151,
title = {AutoReCon: Neural Architecture Search-based Reconstruction for Data-free Compression},
author = {Baozhou Zhu and Peter Hofstee and Johan Peltenburg and Jinho Lee and Zaid Alars},
journal= {arXiv preprint arXiv:2105.12151},
year = {2021}
}