通过语义感知排列训练缓解大型语言模型中的反转诅咒
计算与语言
2024-03-21 v3 人工智能
机器学习
摘要
尽管大型语言模型（LLMs）在各种任务中取得了令人瞩目的性能，但近期研究表明，因果语言模型存在“反转诅咒”问题。一个典型例子是，模型知道“A的父亲是B”，但无法推理出“B的孩子是A”。这一限制对通用人工智能（AGI）的发展构成了挑战，因为它表明模型在理解和应用双向推理方面存在差距。本文首先进行了大量评估，并确定反转诅咒的根本原因在于训练和推理阶段之间的词序不同，即因果语言模型在训练数据中预测前文词的能力较差。因此，对训练数据进行排列被认为是一种潜在的解决方案，因为这可以使模型预测前文词或标记。然而，以往的排列方法可能会破坏完整的短语或实体，从而给模型理解和学习训练数据带来挑战。为解决此问题，我们提出了语义感知排列训练（SPT），该方法通过使用辅助语言模型将训练句子分割成语义单元（即实体或短语），并在将这些单元输入模型之前对其进行排列。大量实验表明，SPT有效缓解了反转诅咒，因为反转问题的性能接近正向问题的性能，并且显著提升了现有工作的性能。
引用
@article{arxiv.2403.00758,
title = {Mitigating Reversal Curse in Large Language Models via Semantic-aware Permutation Training},
author = {Qingyan Guo and Rui Wang and Junliang Guo and Xu Tan and Jiang Bian and Yujiu Yang},
journal= {arXiv preprint arXiv:2403.00758},
year = {2024}
}