论分类网络倒数第二层激活的分布
机器学习
2021-07-07 v2 计算机视觉与模式识别
摘要
本文研究分类网络倒数第二层激活的概率分布。我们表明，当分类网络以交叉熵损失训练时，其最终分类层与基于特定倒数第二层激活分布的生成式分类器构成生成-判别对。更重要的是，该分布由最终全连接层的权重参数化，并可被视为一种无需输入数据即可合成倒数第二层激活的生成模型。我们通过实验证明，该生成模型能在域偏移存在时实现稳定的知识蒸馏，并可将分类器的知识迁移至变分自编码器与生成对抗网络以进行类条件图像生成。
引用
@article{arxiv.2107.01900,
title = {On The Distribution of Penultimate Activations of Classification Networks},
author = {Minkyo Seo and Yoonho Lee and Suha Kwak},
journal= {arXiv preprint arXiv:2107.01900},
year = {2021}
}
备注
8 pages, UAI 2021, The first two authors equally contributed