SKDCGN：利用cGANs对反事实生成网络进行无源知识蒸馏
计算机视觉与模式识别
2022-09-05 v4 机器学习
摘要
通过采用适当的归纳偏置，反事实生成网络（CGNs）能够从形状、纹理和背景流形的随机组合中生成新颖图像。这些图像可用于训练不变分类器，从而避免深度架构学习虚假相关性而非有意义相关性的普遍问题。因此，域外鲁棒性得以提升。然而，CGN架构包含多个过度参数化的网络，即BigGAN和U2-Net。训练这些网络需要适当的背景知识和大量计算。由于人们并非总能获取精确的训练细节，也不总具备反事实的必要知识，我们的工作致力于解决以下问题：在假设对架构各组件具有黑盒访问权限（即仅能访问预训练CGN模型）的前提下，我们能否利用预训练CGN中嵌入的知识来训练容量更低的模型？在此方向上，我们提出了一项名为SKDCGN的新工作，尝试使用知识蒸馏（KD）进行知识迁移。在我们提出的架构中，每个独立机制（形状、纹理、背景）由一个从预训练教师'BigGAN'学习的的学生'TinyGAN'表示。我们使用ImageNet和MNIST等最先进的数据集，通过KD和适当的损失函数证明了所提方法的有效性。此外，作为额外贡献，本文对CGN的组合机制进行了深入研究，以更好地理解各机制如何影响不变分类器的分类精度。代码见：https://github.com/ambekarsameer96/SKDCGN
引用
@article{arxiv.2208.04226,
title = {SKDCGN: Source-free Knowledge Distillation of Counterfactual Generative Networks using cGANs},
author = {Sameer Ambekar and Matteo Tafuro and Ankit Ankit and Diego van der Mast and Mark Alence and Christos Athanasiadis},
journal= {arXiv preprint arXiv:2208.04226},
year = {2022}
}
备注
Accepted at ECCV 2022 Workshop VIPriors