通过序列推荐预训练增强 CTR 预测：引入 SRP4CTR 框架
信号处理
2024-07-30 v1
摘要
理解用户兴趣对于点击率（CTR）预测任务至关重要。在序列推荐中，通过自监督学习从用户历史行为进行预训练可以更好地理解用户动态偏好，展现出与 CTR 任务直接集成的潜力。先前的方法将预训练模型整合到下游任务中，唯一目的是提取语义信息或良好表征的用户特征，并将其作为新特征纳入。然而，这些方法倾向于忽略给下游任务带来的额外推理成本，并且未考虑如何将预训练模型中的有效信息转移到 CTR 预测中特定预估物品上。本文提出了用于 CTR 预测的序列推荐预训练框架（SRP4CTR）以解决上述问题。首先，我们讨论了引入预训练模型对推理成本的影响。随后，我们引入了一种预训练方法来并行编码序列侧信息。在微调过程中，我们加入了一个交叉注意力模块，以低成本在预估物品与预训练模型之间建立桥梁。此外，我们开发了一种查询转换器技术，以促进预训练模型向工业 CTR 模型的知识迁移。离线和在线实验表明，我们的方法优于先前基线模型。
引用
@article{arxiv.2407.19657,
title = {Sustainable Task Offloading in Secure UAV-assisted Smart Farm Networks: A Multi-Agent DRL with Action Mask Approach},
author = {Tingnan Bao and Aisha Syed and William Sean Kennedy and Melike Erol-Kantarci},
journal= {arXiv preprint arXiv:2407.19657},
year = {2024}
}