并非如此糟糕：理解生成式 Transformer 模型分布外泛化中的神秘性能下降
机器学习
2024-08-20 v2 人工智能
摘要
大语言模型（LLM）在解决多样化问题方面已展现出卓越能力。然而，其泛化能力并非总是令人满意，且泛化问题普遍存在于一般的生成式 Transformer 模型中。研究者将 n 位数加法或乘法等基本数学任务作为探究其泛化行为的重要视角。观察到，当模型在输入操作数均为 n 位长度的 n 位运算（如加法）上训练时，模型能在未见的 n 位输入上成功泛化（分布内（ID）泛化），却在更长的未见样例上严重失败（分布外（OOD）泛化）。我们将这一未获解释的性能下降引入关注，并探问是否存在系统性的 OOD 泛化。为理解 LLM，我们训练了多种可能共享相同底层机制的较小语言模型。我们发现，强大的 ID 泛化源于结构化表示，而在不尽如人意的 OOD 性能背后，模型仍展现出清晰习得的代数结构。具体而言，这些模型将未见 OOD 输入映射至具有 ID 域中习得等价关系的输出，我们称之为等价泛化。这些发现深化了我们对包括 LLM 在内的生成式模型可泛化性的认识，并为潜在改进途径提供了见解。
引用
@article{arxiv.2308.08268,
title = {It Ain't That Bad: Understanding the Mysterious Performance Drop in OOD Generalization for Generative Transformer Models},
author = {Xingcheng Xu and Zihao Pan and Haipeng Zhang and Yanqing Yang},
journal= {arXiv preprint arXiv:2308.08268},
year = {2024}
}
备注
Proceedings of the 33rd International Joint Conference on Artificial Intelligence (IJCAI-24)