关于大语言模型在理解逆关系上无效性的研究
计算与语言
2023-11-14 v3
摘要
大语言模型（LLMs）在许多面向形式语言的任务中取得了显著成功，例如结构化数据到文本和语义解析。然而当前的基准大多遵循LLMs预训练数据的数据分布。因此，一个自然的问题是LLMs是否真正理解形式语言的结构化语义。本文我们在一个特例即逆二元关系上研究该问题。我们引入了一个聚焦于逆关系的新基准ConvRe，其包含从流行知识图谱补全数据集中抽取的17个关系和1240个三元组。我们的ConvRE具有两个任务，Re2Text和Text2Re，被构建为多选问答以评估LLMs确定关系与关联文本之间匹配的能力。对于评估协议，除不同的提示方法外，我们还进一步对测试文本和少样本示例文本引入变体。我们在三个流行的LLM系列上进行了实验，并观察到多种规模化趋势。结果表明LLMs常诉诸捷径学习，且在我们的基准上仍面临挑战。
引用
@article{arxiv.2310.05163,
title = {An Investigation of LLMs' Inefficacy in Understanding Converse Relations},
author = {Chengwen Qi and Bowen Li and Binyuan Hui and Bailin Wang and Jinyang Li and Jinwang Wu and Yuanjun Laili},
journal= {arXiv preprint arXiv:2310.05163},
year = {2023}
}
备注
Accepted by EMNLP 2023