PreCog：探究预训练语言模型中记忆与性能的关系
计算与语言
2024-11-12 v2 人工智能
摘要
诸如BERT之类的预训练语言模型是令人印象深刻的机器，具备记忆、可能是泛化学习样本的能力。我们在此提出一项小型且聚焦的贡献，用于分析BERT在下游任务中记忆与性能之间的相互作用。我们提出PreCog，一种用于评估预训练记忆程度的度量，并分析其与BERT性能的相关性。我们的实验表明，高度记忆的样本被更好地分类，暗示记忆是BERT成功的关键要素。
引用
@article{arxiv.2305.04673,
title = {PreCog: Exploring the Relation between Memorization and Performance in Pre-trained Language Models},
author = {Leonardo Ranaldi and Elena Sofia Ruzzetti and Fabio Massimo Zanzotto},
journal= {arXiv preprint arXiv:2305.04673},
year = {2024}
}