利用带知识蒸馏的条件变分自编码器生成长篇财务报告
机器学习
2020-10-26 v1
摘要
从一条新闻自动生成财务报告是一项颇具挑战性的任务。显然,该任务的难点在于缺乏充足的背景知识以有效生成长篇财务报告。为解决此问题,本文提出基于条件变分自编码器(CVAE)的方法,从新闻-报告语料库中抽取外部知识。具体地,我们选用 Bi-GRU 作为 CVAE 的编码器与解码器组件,并从输入新闻中学习潜变量分布。从新闻-报告语料库集合中为每条输入新闻分别学习更高层的潜变量分布,以为先前学到的潜变量分布提供背景知识。随后,采用教师-学生网络蒸馏知识以精炼解码器组件的输出。为评估所提方法的模型性能,在公开数据集上进行了充分实验,并选用 BLEU 与 ROUGE 两个广泛采用的评价指标。有前景的实验结果表明所提方法优于其余对比方法。
引用
@article{arxiv.2010.12188,
title = {Generating Long Financial Report using Conditional Variational Autoencoders with Knowledge Distillation},
author = {Yunpeng Ren and Ziao Wang and Yiyuan Wang and Xiaofeng Zhang},
journal= {arXiv preprint arXiv:2010.12188},
year = {2020}
}