关注并选择：一种用于微博话题标签生成的片段选择Transformer
计算与语言
2022-09-27 v2 人工智能
信息检索
摘要
话题标签生成旨在从微博帖子中生成简短且非正式的 topical 标签，其中的词元或短语构成话题标签。这些词元或短语可能源自原文中的主要片段化文本块（如片段）并被分隔到不同片段中。然而，传统的序列到序列生成方法难以从不同文本粒度中过滤次要信息，且不擅长选择关键词元，因此在生成更凝练的话题标签方面表现欠佳。本工作中，我们提出一种改进的基于 Transformer 的生成模型，在原始编码和解码阶段加入片段选择过程。该片段选择阶段基于一种新颖的片段选择机制（SSM）对全局文本、局部片段和词元上的不同文本粒度进行建模，有助于生成凝练的话题标签。具体而言，它首先关注主要语义片段，然后通过选择关键词元将源文本中不连续的片段转换为话题标签序列。在两个数据集上的大量评估揭示了我们的方法相对于抽取和生成基线的优越性，并取得显著提升。代码与数据集可在 https://github.com/OpenSUM/HashtagGen 获取。
引用
@article{arxiv.2106.03151,
title = {Attend and select: A segment selective transformer for microblog hashtag generation},
author = {Qianren Mao and Xi Li and Bang Liu and Shu Guo and Peng Hao and Jianxin Li and Lihong Wang},
journal= {arXiv preprint arXiv:2106.03151},
year = {2022}
}