FANS：面向物品列表延续的快速非自回归序列生成
信息检索
2023-04-04 v1
摘要
用户策划的物品列表，如 Youtube 上基于视频的播放列表和 Goodreads 上基于书籍的列表，已在在线平台上普遍用于内容分享。物品列表延续旨在对列表整体趋势建模并预测后续物品。近来，基于 Transformer 的模型在理解列表上下文信息与捕捉物品关系方面展现出潜力。然而，将它们部署于实时工业应用具有挑战性，主要因为其使用的自回归生成机制耗时较长。本文提出一种新颖的快速非自回归序列生成模型，即 FANS，以提升物品列表延续的推理效率与质量。首先，我们采用非自回归生成机制同时解码后续 个物品，而非现有模型中的逐个解码。然后，我们设计了一个两阶段分类器，以替换当前基于 transformer 的模型中使用的普通分类器，进一步减少解码时间。此外，为提升非自回归生成质量，我们采用课程学习策略优化训练。在 Zhihu、Spotify、AotM 和 Goodreads 四个真实世界物品列表延续数据集上的实验结果表明，与最先进的自回归模型相比，我们的 FANS 模型能显著提升推理效率（高达 8.7 倍），同时取得有竞争力或更优的生成质量。我们还在工业环境中验证了 FANS 的效率。我们的源代码和数据将发布于 MindSpore/models 和 Github。
引用
@article{arxiv.2304.00545,
title = {FANS: Fast Non-Autoregressive Sequence Generation for Item List Continuation},
author = {Qijiong Liu and Jieming Zhu and Jiahao Wu and Tiandeng Wu and Zhenhua Dong and Xiao-Ming Wu},
journal= {arXiv preprint arXiv:2304.00545},
year = {2023}
}
备注
10 pages, ACM The Web Conference 2023 accepted paper