通过内在建模实现低资源面向任务的语义解析
计算与语言
2021-04-16 v1
摘要
面向任务的语义解析模型通常具有较高的资源需求：为支持新本体（即意图与槽位），实践者需众包数千个样本进行监督微调。部分原因在于事实上的复制-生成解析器的结构；这些模型将本体标签视为离散实体，依赖平行数据从外部推导其含义。在我们的工作中，我们转而利用对本体标签的内在已知信息；例如，SL:TIME_ZONE 具有“槽位”的类别类型以及基于语言的跨度“time zone”。基于这一动机，我们以离线与在线两个阶段构建方法。在预处理期间，对每个本体标签，我们将其内在属性提取为一个组件，并将每个组件作为某种缓存插入到清单中。在训练期间，我们微调一个 seq2seq 预训练 transformer，将话语与清单映射到帧——由话语与本体词元构成的解析树。我们的公式鼓励模型将本体标签视为其内在属性的并集，从而在低资源环境下大幅引导学习。实验表明我们的模型具有极高的样本效率：使用从 TOPv2 派生的低资源基准，当在来自未见域的 10 个样本上微调时，我们的清单解析器比复制-生成解析器的绝对 EM 高出 +15（相对 44%）。
引用
@article{arxiv.2104.07224,
title = {Low-Resource Task-Oriented Semantic Parsing via Intrinsic Modeling},
author = {Shrey Desai and Akshat Shrivastava and Alexander Zotov and Ahmed Aly},
journal= {arXiv preprint arXiv:2104.07224},
year = {2021}
}