KFCNet：面向生成式常识推理的知识过滤与对比学习网络
计算与语言
2021-09-15 v1
摘要
预训练语言模型在众多自然语言处理（NLP）任务上取得了显著提升，但已被证明在输出有高质量要求的自然语言生成任务（如常识生成与广告关键词生成）上存在局限。本文提出一种新颖的知识过滤与对比学习网络（KFCNet），其参考外部知识并取得了更好的生成性能。具体而言，我们提出一种基于 BERT 的过滤模型以剔除低质量候选，并在通用编码器—解码器架构中分别对编码器与解码器应用对比学习。编码器对比模块有助于在编码时捕捉全局目标语义，解码器对比模块在学习通用特征的同时增强了所检索原型的效用。在 CommonGen 基准上的大量实验表明，我们的模型大幅优于先前最优方法：BLEU-4 提升 6.6 分（42.5 对比 35.9），SPICE 提升 3.7 分（33.3 对比 29.6），CIDEr 提升 1.3 分（18.3 对比 17.0）。我们进一步在广告关键词生成上验证了所提对比模块的有效性，并表明我们的模型具有潜在商业价值。
引用
@article{arxiv.2109.06704,
title = {KFCNet: Knowledge Filtering and Contrastive Learning Network for Generative Commonsense Reasoning},
author = {Haonan Li and Yeyun Gong and Jian Jiao and Ruofei Zhang and Timothy Baldwin and Nan Duan},
journal= {arXiv preprint arXiv:2109.06704},
year = {2021}
}
备注
Accepted to EMNLP 2021 Findings