我们是否设计了通用结构化知识提示？系统评估与反思
计算与语言
2025-01-03 v1
摘要
大型语言模型(LLM)在当前 NLP 研究中在文本生成方面展现出卓越的性能。然而，事实准确性的缺失仍是 LLM 高塔上的阴影。结构化知识提示(SKP)是一种将外部知识整合到 LLM 中的主流范式，通过采用结构化表示实现，在许多知识密集型任务中取得了最先进的结果。然而，现有方法常只关注特定问题，缺乏对 SKP 范式在一般化能力边界范围内的全面探索。本文旨在从四个视角评估和反思 SKP 范式的一般化能力，包括粒度、可迁移性、可扩展性和普适性。为提供全面的评估，我们引入了一个新的多粒度、多层次基准称为 SUBARU，包含 9 个不同任务，具有不同的粒度和难度水平。
引用
@article{arxiv.2501.00244,
title = {Have We Designed Generalizable Structural Knowledge Promptings? Systematic Evaluation and Rethinking},
author = {Yichi Zhang and Zhuo Chen and Lingbing Guo and Yajing Xu and Shaokai Chen and Mengshu Sun and Binbin Hu and Zhiqiang Zhang and Lei Liang and Wen Zhang and Huajun Chen},
journal= {arXiv preprint arXiv:2501.00244},
year = {2025}
}
备注
Work in progress