基于BERT的口语与书面指令抽象摘要
计算与语言
2020-08-28 v3 人工智能
摘要
语音摘要是一个难题，因其流动的自发性、不流畅性以及书面文本通常不遇到的其他问题。我们的工作首次将BERTSum模型应用于对话语言。我们针对从园艺、烹饪到软件配置和体育等广泛主题的叙述性教学视频生成抽象摘要。为丰富词汇，我们使用迁移学习，并在若干大型跨领域书面与口语英语数据集上预训练模型。我们还对转写文本进行预处理，以恢复ASR系统输出中的句子分割与标点。结果使用ROUGE和Content-F1评分在How2与WikiHow数据集上评估。我们邀请人类评委对从HowTo100M和YouTube策划的数据集中随机选取的一组摘要打分。基于盲评，我们实现了接近人类内容创作者所写摘要的文本流畅度与实用性。该模型应用于风格与主题差异巨大的WikiHow文章时击败当前SOTA，同时在经典CNN/DailyMail数据集上未出现性能退化。由于模型在不同风格与领域间的高泛化能力，其在提升互联网内容的可访问性与可发现性方面潜力巨大。我们设想将其集成为智能虚拟助手的一项功能，使其能按需摘要书面与口语教学内容。
引用
@article{arxiv.2008.09676,
title = {Abstractive Summarization of Spoken and Written Instructions with BERT},
author = {Alexandra Savelieva and Bryan Au-Yeung and Vasanth Ramani},
journal= {arXiv preprint arXiv:2008.09676},
year = {2020}
}
备注
Accepted for KDD Converse 2020 (https://conversekdd20.github.io/accepted-papers.html)