PALT：用于知识图谱补全的语言模型参数轻量迁移
计算与语言
2022-10-26 v1 人工智能
摘要
本文提出一种预训练语言模型（LM）用于知识图谱（KG）补全的参数轻量迁移学习方法。与修改所有LM参数的微调不同，我们仅调优少量新参数而保持原始LM参数固定。为此，我们将KG补全重构为“填空”任务，并在原始LM之上引入参数轻量编码器。我们表明，通过远少于微调的参数调优，LM可非平凡地迁移至多数任务，并与已有最先进方法相竞争。例如，我们在某KG补全基准上仅调优1%参数即优于完全微调方法。代码与数据集见\url{https://github.com/yuanyehome/PALT}。
引用
@article{arxiv.2210.13715,
title = {PALT: Parameter-Lite Transfer of Language Models for Knowledge Graph Completion},
author = {Jianhao Shen and Chenguang Wang and Ye Yuan and Jiawei Han and Heng Ji and Koushik Sen and Ming Zhang and Dawn Song},
journal= {arXiv preprint arXiv:2210.13715},
year = {2022}
}
备注
Findings of EMNLP 2022