LLaSA：大语言与结构化数据助手
计算与语言
2025-02-11 v2 人工智能
机器学习
摘要
结构化数据，如表格、图形和数据库，在诸多NLP任务中发挥着关键作用，如问答和对话系统。最近，受视觉-语言模型的启发，图神经网络（GNN）被引入大语言模型（LLMs）的输入中，以提高其在结构化知识 grounding（SKG）任务中的性能。然而，这些GNN增强型LLMs存在以下局限性：（1）它们采用多种GNN来建模不同类型的结构化数据，无法统一处理各种形式的结构化数据。（2）GNN的预训练与特定LLMs捆绑，导致GNN无法完全对齐文本空间，限制了其对其他LLMs的适应性。为此，我们提出了大语言与结构化数据助手（LLaSA），一个通用的框架，用于增强LLMs处理结构化数据的能力。具体而言，我们将各种类型的结构化数据表示为统一的超图格式，并使用自监督学习预训练超图编码器，通过跨注意力压缩编码后的超图表示。压缩后的超图表示在LLMs的训练和推理阶段附加到序列化输入中。实验结果表明，预训练的超图编码器能够适配各种LLMs，并提升其处理不同类型结构化数据的能力。此外，LLaSA采用LoRA微调，相较于使用全参数调优的前沿方法表现更佳。
关键词
引用
@article{arxiv.2411.14460,
title = {LLaSA: Large Language and Structured Data Assistant},
author = {Yao Xu and Shizhu He and Jiabei Chen and Zeng Xiangrong and Bingning Wang and Guang Liu and Jun Zhao and Kang Liu},
journal= {arXiv preprint arXiv:2411.14460},
year = {2025}
}
备注
NAACL 2025 Main