面向少样本自然语言理解的统一 BERT 模型
计算与语言
2022-08-16 v2 人工智能
摘要
尽管预训练语言模型共享语义编码器，自然语言理解仍受困于输出模式的多样性。本文提出 UBERT，一种基于 BERT 框架的统一双向语言理解模型，可通过双仿射网络对不同 NLU 任务的训练目标进行统一建模。具体而言，UBERT 从多方面编码先验知识，跨多个 NLU 任务统一构建学习表示，有助于增强捕获通用语义理解的能力。通过使用双仿射对原文起止位置得分对进行建模，各类分类与抽取结构可转化为通用的跨度解码方法。实验表明，UBERT 在 2022 年 AIWIN——世界人工智能创新大赛中文保险少样本多任务赛道中获得一等奖，并实现了广泛信息抽取与语言推理任务的统一。
引用
@article{arxiv.2206.12094,
title = {Unified BERT for Few-shot Natural Language Understanding},
author = {Junyu Lu and Ping Yang and Ruyi Gan and Jing Yang and Jiaxing Zhang},
journal= {arXiv preprint arXiv:2206.12094},
year = {2022}
}