I$^2$KD-SLU：一种用于零样本跨语言口语理解的 intra-inter 知识蒸馏框架
计算与语言
2023-10-05 v1
摘要
口语理解（SLU）通常包括两个子任务：意图检测与槽填充。目前，其在高资源语言中已取得巨大成功，但由于标注训练数据的稀缺，在低资源语言中仍具挑战性。因此，零样本跨语言SLU日益受到关注。尽管现有零样本跨语言SLU模型取得成功，其中大多数忽视了实现意图与槽之间的相互引导。为解决此问题，我们提出一种用于零样本跨语言口语理解的intra-inter知识蒸馏框架（IKD-SLU）来建模相互引导。具体而言，我们不仅在相同语句不同语言的意图预测或槽预测之间应用intra知识蒸馏，还在相同语句的意图预测与槽预测之间应用inter知识蒸馏。实验结果表明，相较于强基线，我们提出的框架显著提升了性能，并在MultiATIS++数据集上取得新的最先进性能，总体准确率较先前最佳模型获得显著提升。
引用
@article{arxiv.2310.02594,
title = {I$^2$KD-SLU: An Intra-Inter Knowledge Distillation Framework for Zero-Shot Cross-Lingual Spoken Language Understanding},
author = {Tianjun Mao and Chenghong Zhang},
journal= {arXiv preprint arXiv:2310.02594},
year = {2023}
}
备注
12 pages,2 figures