异质社区问答中跨领域重复问题检测的泛化性与知识可迁移性
计算与语言
2018-11-19 v1 人工智能
摘要
重复问题检测是社区问答中一项持续的挑战，因为语义等价的问题可能具有显著不同的词汇与结构。此外，若相同问题不被重复提出，识别重复问题可减少检索所需资源。本研究比较了深度神经网络与梯度提升树的表现，并借助三个异质数据集——通用型 Quora、技术型 Ask Ubuntu 与学术型 English Stack Exchange，探索通过迁移学习进行领域自适应该文本对重复分类任务中表现不佳的目标领域的可能性。最终，我们的研究提出了一种备择假设：即“重复”的含义并非内在通用，而是依赖于学习所属领域，因而通过适应领域来开展迁移学习的机会随之降低。
引用
@article{arxiv.1811.06596,
title = {On Generality and Knowledge Transferability in Cross-Domain Duplicate Question Detection for Heterogeneous Community Question Answering},
author = {Mohomed Shazan Mohomed Jabbar and Luke Kumar and Hamman Samuel and Mi-Young Kim and Sankalp Prabhakar and Randy Goebel and Osmar Zaïane},
journal= {arXiv preprint arXiv:1811.06596},
year = {2018}
}