面向个性化领域分类的监督式领域启用注意力
计算与语言
2018-12-19 v1
摘要
在用于自然语言理解的大规模领域分类中，利用每个用户的领域启用信息（即用户偏好或已认证的领域）并结合注意力机制已被证明可改善整体领域分类性能。本文中，我们提出一种监督式启用注意力机制，其利用 sigmoid 激活进行注意力加权，从而使注意力能以更强的表达能力计算，且不受 softmax 注意力的权重和约束。通过监督注意力，显式鼓励注意力权重类似于对应真值 one-hot 向量的元素，并通过自蒸馏利用其他启用领域的注意力信息。通过在来自大规模 IPDA 的真实话语上评估，我们表明我们的方法显著改善了领域分类性能。
引用
@article{arxiv.1812.07546,
title = {Supervised Domain Enablement Attention for Personalized Domain Classification},
author = {Joo-Kyung Kim and Young-Bum Kim},
journal= {arXiv preprint arXiv:1812.07546},
year = {2018}
}
备注
EMNLP 2018