多视图嵌入空间中的多源神经主题建模
计算与语言
2021-04-20 v1 人工智能
机器学习
摘要
尽管词嵌入与主题互为互补表示，过往若干工作仅在(神经)主题建模中使用预训练词嵌入，以解决短文本或小规模文档集合中的数据稀疏问题。本工作提出一种利用多视图嵌入空间的新型神经主题建模框架：(1)预训练主题嵌入，与(2)来自一个或多个来源的预训练词嵌入(Glove的上下文不敏感嵌入及BERT模型的上下文敏感嵌入)联合使用，以提升主题质量并更好地处理一词多义。为此，我们首先分别构建预训练主题(即TopicPool)与词嵌入(即WordPool)的池。随后我们确定一个或多个相关源领域并迁移知识，以引导稀疏目标领域中有意义的学习。在神经主题建模中，我们通过泛化性(困惑度)、可解释性(主题一致性)与信息检索(IR)，利用来自新闻与医疗领域的短文本、长文本、小规模及大规模文档集合来量化主题与文档表示的质量。引入多源多视图嵌入空间，我们基于6个源(高资源)语料与5个目标(低资源)语料展示了最先进的神经主题建模。
引用
@article{arxiv.2104.08551,
title = {Multi-source Neural Topic Modeling in Multi-view Embedding Spaces},
author = {Pankaj Gupta and Yatin Chaudhary and Hinrich Schütze},
journal= {arXiv preprint arXiv:2104.08551},
year = {2021}
}
备注
NAACL2021, 13 pages, 14 tables, 2 figures. arXiv admin note: substantial text overlap with arXiv:1909.06563