UFIN：面向多领域点击率预测的通用特征交互网络
信息检索
2023-11-28 v1
摘要
点击率（CTR）预测旨在估计用户点击某物品的概率，是在线广告中的关键任务。众多现有 CTR 模型专注于对单一领域内的特征交互建模，因而难以满足真实工业场景中多领域推荐的需求。一些近期方法提出复杂架构以增强跨领域知识共享并改进模型训练，然而这些方法因依赖 ID 特征（如物品 id）的建模，在迁移至新推荐领域时面临困难。针对上述问题，我们提出用于 CTR 预测的通用特征交互网络（UFIN）方法。UFIN 利用文本数据学习可跨不同领域有效迁移的通用特征交互。为学习通用特征表示，我们将文本与特征视为两种不同模态，并提出基于大语言模型（LLM）的编码器-解码器网络，以强制文本模态向特征模态的数据迁移。在上述基础上，我们进一步开发了增强型混合专家（MoE）自适应特征交互模型，以学习跨多领域的可迁移协同模式。此外，我们提出多领域知识蒸馏框架以增强特征交互学习。基于上述方法，UFIN 能有效弥合语义鸿沟以学习跨领域的共性知识，超越基于 ID 的模型限制。在八个数据集上的大量实验表明了 UFIN 在多领域与跨平台设置下的有效性。我们的代码见 https://github.com/RUCAIBox/UFIN。
引用
@article{arxiv.2311.15493,
title = {UFIN: Universal Feature Interaction Network for Multi-Domain Click-Through Rate Prediction},
author = {Zhen Tian and Changwang Zhang and Wayne Xin Zhao and Xin Zhao and Ji-Rong Wen and Zhao Cao},
journal= {arXiv preprint arXiv:2311.15493},
year = {2023}
}