无需自监督学习的Transformer增强：序列推荐中的损失景观视角
信息检索
2023-08-22 v1
摘要
Transformer及其变体因能从用户历史交互中捕捉动态兴趣，成为序列推荐的一类强大架构。尽管取得成功，基于Transformer的模型常需优化大量参数，使其在序列推荐的稀疏数据下难以训练。为解决数据稀疏问题，以往研究利用自监督学习增强Transformer，例如从物品属性预训练嵌入或对比数据增广。然而，这些方法面临若干训练问题，包括初始化敏感、人工数据增广以及大批量内存瓶颈。本工作中，我们从损失几何的视角研究Transformer，旨在增强模型在序列推荐中的数据效率与泛化能力。我们观察到Transformer（如SASRec）若未充分正则化会收敛到极尖锐的局部极小。受近期锐度感知最小化（SAM）启发，我们提出SAMRec，显著提升了序列推荐的准确率与鲁棒性。SAMRec在与最先进的自监督Transformer（如SRec和CL4SRec）性能相当的同时，无需预训练或强数据增广。
引用
@article{arxiv.2308.10347,
title = {Enhancing Transformers without Self-supervised Learning: A Loss Landscape Perspective in Sequential Recommendation},
author = {Vivian Lai and Huiyuan Chen and Chin-Chia Michael Yeh and Minghua Xu and Yiwei Cai and Hao Yang},
journal= {arXiv preprint arXiv:2308.10347},
year = {2023}
}