仪表偏置：通过类层次结构解构深度分类器训练动力学
人工智能
2025-02-18 v1 机器学习
摘要
我们通过考察类之间层次关系在训练期间如何演化来探讨深度分类器的训练动力学。通过大量实验，我们认为分类问题的学习过程可通过标签聚类来理解。具体而言，我们观察到网络倾向于在训练早期区分更高层次（原义）类别，随后学习更具体（专义）类别。我们引入一种新框架来跟踪特征流形在训练期间的演变，揭示了类关系在网络层次结构中的层次化如何逐步形成和细化。我们的分析表明，所学表征与数据集的语义结构高度吻合，为聚类过程提供了量化描述。值得注意的是，我们表明在原义标签空间中，神经崩溃的某些性质比在专义标签空间中更早出现，从而帮助搭接学习的初始阶段和终端阶段之间的差距。我们认为这些发现为理解深度网络中层次化学习机制提供了新的洞见，为未来在深度学习动力学中取得进展铺平了道路。
引用
@article{arxiv.2502.12125,
title = {Hypernym Bias: Unraveling Deep Classifier Training Dynamics through the Lens of Class Hierarchy},
author = {Roman Malashin and Valeria Yachnaya and Alexander Mullin},
journal= {arXiv preprint arXiv:2502.12125},
year = {2025}
}