KSAT：知识注入自注意力Transformer——融合多领域特定上下文
计算与语言
2023-06-27 v2 人工智能
摘要
领域特定语言理解需要融合多段相关上下文信息。例如，在文本“我有一把枪并且对自己的生活感觉很糟，如果明天不再醒来也不是最坏的事”中，我们同时看到自杀与抑郁相关行为（多上下文）。自注意力架构中的领域特定性通过在与相关领域特定资源（数据集与外部知识——关于自杀与抑郁的心理健康诊断医学教材章节）的摘录上微调来处理。我们提出一种改进的自注意力架构知识注入自注意力Transformer（KSAT），其利用外部知识源实现多领域特定上下文的融合。KSAT在每个知识源的专用自注意力层中引入知识引导偏置以达成此目的。此外，KSAT提供了控制从数据学习与从知识学习之间权衡的机制。我们的定量与定性评估表明：（1）KSAT架构提供了新颖且人类可理解的方式来精确度量并可视化所注入领域上下文的贡献；（2）KSAT与其他知识注入基线竞争力相当，并显著优于使用微调处理领域特定任务的基线。
引用
@article{arxiv.2210.04307,
title = {KSAT: Knowledge-infused Self Attention Transformer -- Integrating Multiple Domain-Specific Contexts},
author = {Kaushik Roy and Yuxin Zi and Vignesh Narayanan and Manas Gaur and Amit Sheth},
journal= {arXiv preprint arXiv:2210.04307},
year = {2023}
}
备注
Preprint version of paper accepted for publication at KDD workshop on Knowledge Augmented Methods for NLP, 2023