面向数值推理的弱监督神经符号模块网络
计算与语言
2021-01-29 v1
摘要
神经模块网络（NMNs）在将显式推理作为可学习模块融入各类问答任务（包括机器阅读理解（MRC）中对文本最通用的数值推理形式）方面已相当成功。然而，为此当代 NMNs 需要在将查询作为针对推理模块的专用程序执行时提供强监督，且无法泛化到无此类监督的更开放场景。因此我们提出弱监督神经符号模块网络（WNSMN），以答案为唯一监督进行基于数值推理的 MRC 训练。它学习将来自查询依存句法分析的含噪启发式程序作为离散动作在神经与符号推理模块上执行，并在强化学习框架中以答案匹配的离散奖励进行端到端训练。在 DROP 的数值答案子集上，在可比弱监督设置下训练时，WNSMN 在精确匹配准确率上超越 NMN 达 32%，超越无推理语言模型 GenBERT 达 8%。这展示了模块化网络在以端到端方式处理含噪程序上显式离散推理的有效性与可泛化性。
引用
@article{arxiv.2101.11802,
title = {Weakly Supervised Neuro-Symbolic Module Networks for Numerical Reasoning},
author = {Amrita Saha and Shafiq Joty and Steven C. H. Hoi},
journal= {arXiv preprint arXiv:2101.11802},
year = {2021}
}