增强端侧抽取式摘要的自适应集束搜索
计算与语言
2022-02-08 v1
摘要
我们在智能手机上以短信、文档、语音消息等形式接收若干重要更新，却常被内容 clutter 所淹没。往往未通读全部内容便无从知晓关键信息。短信通知有时通过提示消息大意有所帮助，但仅提供开头内容的预览。一种解决途径是拥有单一高效模型，能自适应地摘要来自不同来源的数据。本文着手解决该问题，并首次提出一种新颖的自适应集束搜索（Adaptive Beam Search）以改进端侧抽取式摘要质量，可应用于短信、语音消息，并可扩展至文档。据我们所知，这是首个被提出的端侧抽取式摘要流水线，能适配多数据源，并相较多数将数据传输至服务器的现有摘要系统更顾及用户隐私顾虑。我们通过知识蒸馏将模型尺寸缩减30.9%，并展示该模型以97.6%更小的内存占用，提取出与BERT相同或更多的关键信息。
引用
@article{arxiv.2201.02739,
title = {Adaptive Beam Search to Enhance On-device Abstractive Summarization},
author = {Harichandana B S S and Sumit Kumar},
journal= {arXiv preprint arXiv:2201.02739},
year = {2022}
}
备注
Accepted at IEEE INDICON 2021, 19-21 December, 2021, India