用双向 Transformer 消除序列推荐中完形填空任务的偏差
机器学习
2023-01-24 v1 信息检索
摘要
双向 Transformer 架构是基于完形填空任务（亦称掩码语言建模，Masked Language Modeling）的双向表示能力的序列推荐最优模型。后者旨在预测序列中随机被掩码的物品。由于它们假设真实交互物品是最相关的，这导致了暴露偏差（exposure bias），即具有低暴露倾向的未交互物品被假定为不相关。推荐中缓解暴露偏差的最常见方法是逆倾向评分（Inverse Propensity Scoring, IPS），其通过在损失函数中按暴露倾向对交互预测降权，从而获得理论无偏的学习。在本文中，我们论证并证明 IPS 不能推广到序列推荐，因为它未能考虑问题的时间特性。随后我们提出一种新颖的倾向评分机制，可从理论上消除序列推荐中完形填空任务的偏差。最后，我们通过实验证明了所提方法的去偏能力及其对暴露偏差严重程度的鲁棒性。
引用
@article{arxiv.2301.09210,
title = {Debiasing the Cloze Task in Sequential Recommendation with Bidirectional Transformers},
author = {Khalil Damak and Sami Khenissi and Olfa Nasraoui},
journal= {arXiv preprint arXiv:2301.09210},
year = {2023}
}
备注
10 pages, 3 figures, Accepted at KDD '22