读文外之意：基于略读与精读模型理解文本隐含意义
计算与语言
2020-01-17 v2 人工智能
摘要
由于高度上下文敏感性与对修辞语言的重度使用，文本的非字面解读难以被机器模型理解。受人类阅读理解启发，本研究提出一种新颖、简单且有效的深度神经框架——略读与精读模型(Skim and Intensive Reading Model, SIRM)，用于推断文本隐含意义。所提 SIRM 包含两个主要组件，即略读组件与精读组件。N-gram 特征由略读组件（多个卷积神经网络的组合）快速提取，作为略读（整体）信息。精读组件支持对局部（句子）与全局（段落）表征的层次化探究，其通过稠密连接封装当前嵌入与上下文信息。更具体地，上下文信息包含近邻信息与上述略读信息。最后，除常规训练损失函数外，我们采用对抗损失函数作为略读组件上的惩罚，以消除训练数据中特殊修辞词带来的噪声信息。为验证所提架构的有效性、鲁棒性与效率，我们在多个讽刺检测基准及一个含隐喻的工业垃圾数据集上进行了广泛的对比实验。实验结果表明：(1) 所提模型受益于上下文建模与对修辞语言的考量，以可比的参数规模与训练速度优于现有 SOTA 方案；(2) SIRM 在参数规模敏感性方面表现出优越鲁棒性；(3) 与 SIRM 的消融与叠加变体相比，最终框架足够高效。
引用
@article{arxiv.2001.00572,
title = {Read Beyond the Lines: Understanding the Implied Textual Meaning via a Skim and Intensive Reading Model},
author = {Guoxiu He and Zhe Gao and Zhuoren Jiang and Yangyang Kang and Changlong Sun and Xiaozhong Liu and Wei Lu},
journal= {arXiv preprint arXiv:2001.00572},
year = {2020}
}