面向自然语言处理的低标注数据高效深度学习

深度学习已成为广泛自然语言处理应用的主力方法。但深度学习的诸多成功依赖于带标注样本。大规模生成标注耗时且昂贵。本文关注于减少所需标注数据量的方法——通过提升学习方法的知识效率，使其更适用于低标注（低资源）场景。提升模型知识效率的经典方法包括多任务学习、迁移学习、弱监督与无监督学习等。本论文致力于将此类经典方法适配于现代深度学习模型与算法。本论文描述了四项旨在提升机器学习模型知识效率的工作。首先，我们提出一种知识丰富的深度学习模型（KRDL）作为将先验知识融入深度模型的统一学习框架。具体而言，我们应用基于马尔可夫逻辑网络构建的 KRDL 对弱监督进行去噪。其次，我们应用 KRDL 模型辅助机器阅读模型找到能够支持其决策的正确证据句。第三，我们研究多语言场景下的知识迁移技术，提出了一种可基于双语词典改进预训练多语言 BERT 的方法。第四，我们提出一种用于语言建模的情景记忆网络，其中我们将大规模外部知识编码入预训练的 GPT。