用于多模型序列垃圾信息检测的分段窗口变换器
机器学习
2025-02-25 v1 人工智能
多媒体
社会与信息网络
摘要
本文介绍了一种新型变换器，称为 MSDformer，可作为多模态序列垃圾信息检测的通用背板。垃圾信息检测是一个复杂的多模态任务，因此应用变换器的挑战有两个方面。首先，关于用户的复杂多模态噪声信息可能干扰特征挖掘。其次，用户历史行为的长序列也给注意力计算带来巨大的 GPU 内存压力。为解决这些问题，我们首先基于多模型变分自编码器 (MVAE) 设计了一种用户行为分词算法。随后，提出了一种分层分段窗口多头注意力 (SW/W-MHA) 机制。分段窗口策略将超长序列层次化地转化为在窗口内的短期注意力和窗口间的整体注意力的组合。在公开数据集上预训练后，MSDformer的性能远超以往的最佳水平。实验表明，MSDformer具有作为背板的能力。
引用
@article{arxiv.2502.16483,
title = {A Split-Window Transformer for Multi-Model Sequence Spammer Detection using Multi-Model Variational Autoencoder},
author = {Zhou Yang and Yucai Pang and Hongbo Yin and Yunpeng Xiao},
journal= {arXiv preprint arXiv:2502.16483},
year = {2025}
}