特征坍缩
机器学习
2023-05-26 v1 人工智能
计算与语言
摘要
我们形式化并研究了一种称为特征坍缩的现象，它精确化了“在学习任务中扮演相似角色的实体获得相似表示”这一直观想法。由于特征坍缩需要任务的概念，我们借助一个简单但典型的 NLP 任务来研究它。我们首先通过实验表明特征坍缩与泛化如影随形。随后我们证明，在大样本极限下，在该 NLP 任务中扮演相同角色的不同词在神经网络中获得相同的局部特征表示。该分析揭示了 LayerNorm 等归一化机制在特征坍缩与泛化中所起的关键作用。
引用
@article{arxiv.2305.16162,
title = {Feature Collapse},
author = {Thomas Laurent and James H. von Brecht and Xavier Bresson},
journal= {arXiv preprint arXiv:2305.16162},
year = {2023}
}