基于向量投影距离与抽象三角 CRF 的少样本自然语言理解
计算与语言
2021-12-10 v1
摘要
数据稀疏问题是自然语言理解（NLU）的关键挑战，尤其对于新的目标领域。通过在源领域训练 NLU 模型并直接应用于任意目标领域（即使不微调），少样本 NLU 对缓解数据匮乏问题至关重要。本文中，我们提出利用向量投影距离和抽象三角条件随机场（CRF）来改进原型网络以实现少样本 NLU。向量投影距离将上下文词嵌入在标签向量上的投影作为词-标签相似度，等价于一个归一化线性模型。抽象三角 CRF 学习领域无关的标签转移，用于意图分类与槽填充联合任务。大量实验表明，我们提出的方法显著超越强基线。具体而言，我们的方法在中文和英文的两个少样本 NLU 基准（Few-Joint 和 SNIPS）上无需在目标领域微调即可达到新的最优（SOTA）性能。
引用
@article{arxiv.2112.04999,
title = {Few-Shot NLU with Vector Projection Distance and Abstract Triangular CRF},
author = {Su Zhu and Lu Chen and Ruisheng Cao and Zhi Chen and Qingliang Miao and Kai Yu},
journal= {arXiv preprint arXiv:2112.04999},
year = {2021}
}
备注
Accepted by NLPCC 2021