大语言模型是否真的适应于领域？——来自本体学习视角的检验
计算与语言
2024-07-30 v1 人工智能
摘要
大语言模型（LLMs）在各类自然语言处理任务中展现了前所未有的能力。近期研究表明，LLMs 可被用于执行词汇语义任务，如知识库完成（KBC）或本体学习（OL）。然而，尚未有效验证其成功是否源于其对非结构化或准结构化数据的推理能力，抑或仅凭 linguistic patterns 与语义感知能力。对于领域特定数据尤其关键，因为这些数据的词汇语义及其含义可能完全不同于 LLM 在训练阶段所学习的。本文旨在回答以下问题：LLMs 是否真正适应于领域并在结构化知识提取中保持一致，抑或仅学习词汇语义而不进行推理？为回答此问，我们设计了受控实验设置，使用 WordNet 合成平行语料库，包含英文和谐音词汇。我们检验了 LLMs 在两个 OL 任务（关系抽取和分类发现）中对每个语料库输出的差异。实证结果表明，尽管 LLMs 在适应谐音语料库时，脱盆模式的 LLMs 在语义关系之间进行推理方面并不一致，反而依赖语义感知及其框架。然而，微调可即使在领域特定术语在预训练期间未见过的情况下，提升 LLMs 在词汇语义任务上的性能，暗示了预训练 LLMs 在本体学习中具有应用潜力。
引用
@article{arxiv.2407.19998,
title = {Do LLMs Really Adapt to Domains? An Ontology Learning Perspective},
author = {Huu Tan Mai and Cuong Xuan Chu and Heiko Paulheim},
journal= {arXiv preprint arXiv:2407.19998},
year = {2024}
}
备注
Accepted at ISWC 2024