从大型预训练模型中蒸馏任务特定的逻辑规则
计算与语言
2022-10-07 v1
摘要
逻辑规则具有可迁移性和可解释性，被广泛用作命名实体标注等许多下游任务的弱监督信号。为减少人工编写规则的工作量，以往研究者采用迭代方法从若干种子规则中自动学习逻辑规则。然而，获取更多种子规则只能通过额外的高成本人工标注来完成。受限于种子规则的数量与质量，以往系统的模型性能存在上限。本文提出一种新颖框架 STREAM，从大型预训练模型中蒸馏任务特定的逻辑规则。具体而言，我们借助近期基于提示的语言模型作为知识专家来生成初始种子规则，并基于所构建的、充当中介作用的高质量实例池，持续教导该专家以适配我们的任务并学习任务特定的逻辑规则。在三个公开命名实体标注基准上的实验证明了我们所提框架的有效性。借助若干预定义的提示模板，我们的系统相较以往最先进的方法取得了显著提升。
引用
@article{arxiv.2210.02768,
title = {Distilling Task-specific Logical Rules from Large Pre-trained Models},
author = {Tao Chen and Luxin Liu and Xuepeng Jia and Baoliang Cui and Haihong Tang and Siliang Tang},
journal= {arXiv preprint arXiv:2210.02768},
year = {2022}
}