解析大型语言模型时代语义表示的作用
计算与语言
2024-05-03 v1 人工智能
机器学习
摘要
传统上，自然语言处理（NLP）模型常使用由语言学专家创建的丰富特征集，例如语义表示。在大型语言模型（LLM）时代，越来越多的任务被转化为通用的、端到端的序列生成问题。本文我们研究的问题是：在 LLM 时代，语义表示有什么作用？具体而言，我们研究了 Abstract Meaning Representation（AMR）在五个多样化 NLP 任务中的影响。我们提出了一种基于 AMR 的链式思维提示方法，称为 AMRCoT，发现其通常比有帮助的程度更糟。为研究 AMR 在这些任务中可能提供的益处，我们进行了一系列分析实验。我们发现难以预测 AMR 在哪些输入示例中有帮助或有害，但错误往往出现在多词表达式、专有名词以及 LLM 必须将其在 AMR 上的推理连接到预测中的最终推断步骤。我们建议在 LLM 的语义表示未来工作中聚焦于这些领域。我们的代码：https://github.com/causalNLP/amr_llm。
引用
@article{arxiv.2405.01502,
title = {Analyzing the Role of Semantic Representations in the Era of Large Language Models},
author = {Zhijing Jin and Yuen Chen and Fernando Gonzalez and Jiarui Liu and Jiayi Zhang and Julian Michael and Bernhard Schölkopf and Mona Diab},
journal= {arXiv preprint arXiv:2405.01502},
year = {2024}
}
备注
NAACL 2024