AbsPyramid：以统一蕴含图评测语言模型的抽象能力
计算与语言
2024-04-02 v3 人工智能
摘要
认知研究表明，抽象能力在人类智能中至关重要，但在语言模型中仍未被充分探索。本文提出 AbsPyramid，一个包含 221K 条抽象知识文本描述的统一蕴含图。现有资源仅触及简化事件或特定领域内的名词或动词，而 AbsPyramid 为多样化事件的三个组成部分收集抽象知识，以全面评测语言模型在开放域中的抽象能力。实验结果表明，当前 LLM 在零样本和少样本设定下理解抽象知识面临挑战。通过在我们的丰富抽象知识上训练，我们发现 LLM 能够习得基本的抽象能力并泛化至未见事件。同时，我们经实证表明，我们的基准具有综合性，可增强 LLM 在先前两项抽象任务上的表现。
引用
@article{arxiv.2311.09174,
title = {AbsPyramid: Benchmarking the Abstraction Ability of Language Models with a Unified Entailment Graph},
author = {Zhaowei Wang and Haochen Shi and Weiqi Wang and Tianqing Fang and Hongming Zhang and Sehyun Choi and Xin Liu and Yangqiu Song},
journal= {arXiv preprint arXiv:2311.09174},
year = {2024}
}
备注
Findings of NAACL2024