利用逻辑离线循环一致性可扩展地学习潜在语言结构
计算与语言
2023-06-01 v1 人工智能
摘要
我们引入逻辑离线循环一致性优化（LOCCO），一种可扩展的半监督方法，用于训练神经语义解析器。从概念上讲，LOCCO 可视为一种自学习形式，其中被训练的语义解析器用于为无标注文本生成标注，这些标注随后被用作新的监督信号。为提升标注质量，我们的方法利用基于计数的关于有效形式意义表示的先验，以及由神经文本生成模型产生的循环一致性分数作为附加信号。先验与语义解析器以交替方式从对训练数据的完整遍历中更新，这可看作通过随机变分推断对潜在结构进行边际化近似。基于计数的先验、冻结的文本生成模型以及离线标注过程，产生了一种相较于常规自学习复杂度与延迟增加可忽略的方法。作为额外好处，LOCCO 产生的标注可轻易改用于训练神经文本生成模型。我们在著名的 WebNLG 基准上展示了 LOCCO 的效用，在同等条件下相较自学习解析器提升 2 个点，相较先前 SOTA 解析器提升 1.3 个点，并在 BLEU 分数上取得具竞争力的文本生成表现。
引用
@article{arxiv.2305.20018,
title = {Scalable Learning of Latent Language Structure With Logical Offline Cycle Consistency},
author = {Maxwell Crouse and Ramon Astudillo and Tahira Naseem and Subhajit Chaudhury and Pavan Kapanipathi and Salim Roukos and Alexander Gray},
journal= {arXiv preprint arXiv:2305.20018},
year = {2023}
}