用于平衡个性化推荐的长程嵌入
机器学习
2026-04-10 v1
摘要
现代基于Transformer的序列推荐器擅长捕捉短期意图，但常常存在近因偏差，忽略了稳定的长期偏好。虽然延长序列长度是一个直观的修复方法，但它在计算上效率低下，并且最近的交互往往会主导模型的注意力。我们提出长程嵌入（LTE）作为一个高惯性的上下文锚点来弥合这一差距。我们解决了一个关键的生产挑战：由基础设施约束引起的时点一致性问题，因为特征存储通常只托管特征的单个“实时”版本。这导致模型部署和回滚期间出现离线-在线不匹配，因为模型被迫处理它们在训练期间从未见过的演化表示。为了解决这个问题，我们引入了一个LTE框架，将嵌入约束到基于内容的物品表示的固定语义基上，确保跨版本兼容性。此外，我们研究了因果语言建模的集成策略，考虑了当LTE和Transformer的短期序列共享一个时间范围时出现的数据泄露问题。我们评估了两种表示：一种启发式平均和一种非对称自编码器，其解码器固定于语义基上，以在保持稳定性的同时实现行为微调。在Zalando上的在线A/B测试表明，使用滞后窗口将LTE作为上下文前缀令牌集成，可以在用户参与度和财务指标上产生显著提升。
引用
@article{arxiv.2604.08181,
title = {Long-Term Embeddings for Balanced Personalization},
author = {Andrii Dzhoha and Egor Malykh},
journal= {arXiv preprint arXiv:2604.08181},
year = {2026}
}