面向低资源重复问题检测的自上下文嵌入无监督域自适应
计算与语言
2019-11-11 v1 机器学习
摘要
回答问题许多对话系统或搜索产品的首要目标。虽然当前大多数系统聚焦于针对结构化数据库或人工整理的知识图谱回答问题，但在线社区论坛或常见问题（FAQ）列表为问答系统提供了另一种信息来源。自动重复问题检测（DQD）是问答系统利用现有如 StackExchange 等在线论坛的关键技术需求。此类论坛中重复问题的现有标注是社区驱动的，使得许多领域标注稀疏甚至完全缺失。因此，从相关领域与任务迁移知识十分重要。近来，诸如 BERT 等上下文嵌入模型通过将自监督信息迁移至下游任务而超越诸多基线。在本文中，我们将 BERT 应用于 DQD，并通过使用自监督学习对 StackExchange 领域进行无监督自适应来推进它。我们展示了该自适应在低资源设定下的有效性，即目标领域可用训练数据很少或没有。我们的分析揭示，即使在少量数据上进行无监督 BERT 域自适应也能提升 BERT 的性能。
引用
@article{arxiv.1911.02645,
title = {Unsupervised Domain Adaptation of Contextual Embeddings for Low-Resource Duplicate Question Detection},
author = {Alexandre Rochette and Yadollah Yaghoobzadeh and Timothy J. Hazen},
journal= {arXiv preprint arXiv:1911.02645},
year = {2019}
}