逆转诅咒的分析与缓解
计算与语言
2024-11-12 v3 人工智能
机器学习
摘要
近期研究观察到大型语言模型(LLMs)中一个值得注意的现象,称为“逆转诅咒”。逆转诅咒是指当处理两个实体(记为和)、由关系及其逆关系连接时,LLM擅长处理形如“”的序列,但在处理“”时遇到困难,无论是在生成还是理解中。例如,GPT-4能准确回答查询“Tom Cruise的母亲是?”为“Mary Lee Pfeiffer”,但在被问及“Mary Lee Pfeiffer的儿子是?”时却难以给出满意答案。本文中,我们对LLM中逆转诅咒如何发生进行了史上首次研究。我们的调查揭示,逆转诅咒可能源于特定的训练目标,这在大多数因果语言模型中广泛使用的下一词元预测中尤为明显。我们希望这一初步调查能引起对逆转诅咒以及当前LLM中其他潜在局限性的更多关注。
引用
@article{arxiv.2311.07468,
title = {An Analysis and Mitigation of the Reversal Curse},
author = {Ang Lv and Kaiyi Zhang and Shufang Xie and Quan Tu and Yuhan Chen and Ji-Rong Wen and Rui Yan},
journal= {arXiv preprint arXiv:2311.07468},
year = {2024}
}
备注
Accepted by EMNLP 2024 Main. This paper was originally titled "Are We Falling into a Middle-Intelligence Trap? An Analysis and Mitigation of the Reversal Curse." The title was revised during the submission to EMNLP, and we are now updating the title for this preprint version