面向检索的知识用于点击率预测

点击率预测对于个性化在线服务至关重要。基于样本级检索的模型（如RIM）已展现出卓越的性能。然而，它们面临推理效率低和资源消耗高等挑战，这源于检索过程本身，阻碍了其在工业环境中的实际应用。为了解决这一问题，我们提出了一个通用的即插即用框架——面向检索的知识(ROK)，该框架绕过了实际的检索过程。该框架的核心是一个知识库，它采用分解-重构范式来保存和模仿检索并聚合的表示。知识蒸馏和对比学习优化了知识库，使得检索增强表示能够与各种点击率模型集成。在三个大规模数据集上的实验证明了ROK卓越的兼容性和性能，其中神经知识库作为检索池的有效替代品。ROK在保持卓越推理效率的同时超越了教师模型，并展示了使用参数化方法从非参数方法中蒸馏知识的可行性。这些结果凸显了ROK在现实世界应用中的强大潜力，以及将基于检索的方法转化为实际解决方案的能力。我们的实现代码可在https://github.com/HSLiu-Initial/ROK.git获取，以支持可重复性。