逆向训练以疗愈逆转诅咒
计算与语言
2024-05-09 v3 人工智能
摘要
大型语言模型（LLM）存在一个令人惊讶的失败：当在“A 具有特征 B”上训练时，它们无法泛化到“B 是 A 的特征”，这被称为逆转诅咒。即使使用数万亿个词元进行训练，由于齐普夫定律，这个问题仍然会出现——因此，即使我们在整个互联网上进行训练也是如此。这项工作提出了一种替代训练方案，称为逆向训练，其中所有单词都被使用两次，从而使可用词元数量翻倍。LLM 通过反转训练字符串，同时保留（即不反转）选定的子字符串（如实体），在正向和逆向两个方向上进行训练。我们表明，在标准任务上，数据匹配的逆向训练模型提供了优于标准模型的性能，而在逆转任务上，计算匹配的逆向训练模型提供了远为优越的性能，有助于解决逆转诅咒问题。
引用
@article{arxiv.2403.13799,
title = {Reverse Training to Nurse the Reversal Curse},
author = {Olga Golovneva and Zeyuan Allen-Zhu and Jason Weston and Sainbayar Sukhbaatar},
journal= {arXiv preprint arXiv:2403.13799},
year = {2024}
}