表示投影不变性缓解表示坍塌
计算与语言
2023-11-23 v3
摘要
微调由预训练语言模型学习的上下文表示仍是 NLP 中的普遍做法。然而，微调可能导致表示退化（亦称表示坍塌），从而带来不稳定性、次优性能和弱泛化能力。本文中，我们提出表示投影不变性（REPINA），一种新颖的正则化方法，通过抑制表示中不良变化，在微调期间保持表示的信息内容并减少表示坍塌。我们研究了所提正则化方法在 13 个语言理解任务（GLUE 基准和六个额外数据集）上与 5 个可比基线的经验行为。在评估领域内性能时，REPINA 在多数任务（13 个中的 10 个）上持续优于其他基线。我们还展示了其在少样本设置中的有效性和对标签扰动的鲁棒性。作为副产品，我们扩展了先前关于表示坍塌的研究，并提出若干度量指标来量化它。我们的经验发现表明，我们的方法在缓解表示坍塌方面显著更有效。
引用
@article{arxiv.2205.11603,
title = {Representation Projection Invariance Mitigates Representation Collapse},
author = {Anastasia Razdaibiedina and Ashish Khetan and Zohar Karnin and Daniel Khashabi and Vishaal Kapoor and Vivek Madan},
journal= {arXiv preprint arXiv:2205.11603},
year = {2023}
}
备注
41 pages, 6 figures