Hi-ArG：探索层次化论证图在语言预训练中的整合
计算与语言
2023-12-05 v1
摘要
知识图是一种存储与表示知识的结构，近期研究已探讨其辅助语言模型用于各类应用的能力。知识图的某些变体旨在为计算论证任务记录论点及其关系。然而，许多变体必须简化语义类型以适配特定模式，从而丧失灵活性与表达能力。本文中，我们提出层次化论证图（Hierarchical Argumentation Graph, Hi-ArG），一种组织论点的新结构。我们还引入两种利用 Hi-ArG 的方法，包括一个文本-图多模态模型 GreaseArG 以及一种用图信息增强的新预训练框架。在两个论证任务上的实验表明，经过进一步预训练与微调后，GreaseArG 在这些任务上超越了同等规模的语言模型，同时在进一步预训练期间融入图信息也能提升原始语言模型的性能。本文代码可见于 https://github.com/ljcleo/Hi-ArG 。
引用
@article{arxiv.2312.00874,
title = {Hi-ArG: Exploring the Integration of Hierarchical Argumentation Graphs in Language Pretraining},
author = {Jingcong Liang and Rong Ye and Meng Han and Qi Zhang and Ruofei Lai and Xinyu Zhang and Zhao Cao and Xuanjing Huang and Zhongyu Wei},
journal= {arXiv preprint arXiv:2312.00874},
year = {2023}
}
备注
to be published in EMNLP 2023