探究神经网络表示中的聚类结构
机器学习
2023-11-15 v1 计算机视觉与模式识别
摘要
神经网络表示中包含超出训练标签所呈现的结构。例如，无论标签如何，视觉或语义相似的图像的表示往往比不相似图像彼此更靠近。因此对这些表示进行聚类可揭示数据集属性及网络内部机制。本工作中，我们研究神经网络训练涉及的诸多设计选择如何影响隐藏表示中形成的聚类。为此，我们基于BREEDS层次结构建立了一个评估设置，用于在仅以超类信息训练模型后进行子类聚类任务。我们分离出训练数据集与架构作为影响可聚类性的重要因素。包含不相关子类标注类别的数据集比较遵循自然层次的数据集产生好得多的可聚类性。当使用预训练模型对下游数据集的表示聚类时，在子类标签上预训练的模型比在超类标签上预训练的模型提供更好的可聚类性，但仅当预训练与下游数据间存在高度领域重叠时如此。在架构方面，我们发现归一化策略影响哪些层产生最佳聚类性能，且令人惊讶地，Vision Transformers获得的子类可聚类性低于ResNets。
引用
@article{arxiv.2311.07864,
title = {Probing clustering in neural network representations},
author = {Thao Nguyen and Simon Kornblith},
journal= {arXiv preprint arXiv:2311.07864},
year = {2023}
}