判别器是好的特征提取器吗？

生成对抗网络（GAN）中的判别器已被研究者用作迁移学习中的特征提取器，并似乎表现良好。然而，也有研究认为这是错误的研究方向，因为直观上判别器的任务聚焦于将真实样本与生成样本分离，使得以此方式提取的特征对大多数下游任务无用。为避免这一困境，我们首先对判别器任务与所提取特征之间的关系进行了详尽的理论分析。我们发现判别器任务与特征之间的联系并不如先前所想那般紧密，因为限制判别器所学特征的主要因素并非任务本身，而是需要防止整个 GAN 模型在训练期间发生模式崩溃。从这一视角并结合进一步分析，我们发现为避免模式崩溃，判别器提取的特征并未被引导为对真实样本互不相同，但无噪声的发散确实被允许并占据特征空间的很大比例。这使得特征更具鲁棒性，并有助于回答为何判别器能在相关研究中作为特征提取器取得成功。进而，为揭示判别器提取器不同于其他提取器的本质，我们分析其对应物——将目标样本分配到不同类别的分类器提取器。我们发现当源分类任务类似于目标任务（此为常见情形）时，判别器提取器的性能可能不及基于分类器的提取器，但避免噪声的能力使得判别器不会被分类器取代。