基于可微架构搜索的序列推荐场景自适应知识蒸馏
信息检索
2022-04-12 v2 人工智能
摘要
序列推荐系统（SRS）因其在建模用户动态兴趣与序列行为模式上的能力而成为研究热点。为最大化模型表达能力，默认选择是采用更大更深的网络架构，但这在生成在线推荐时往往带来高网络延迟。自然地，我们认为将重型推荐模型压缩为中或轻量级神经网络对实际生产系统至关重要。为实现该目标，我们提出 AdaRec，一种知识蒸馏（KD）框架，它通过可微神经架构搜索（NAS）根据其推荐场景自适应地将教师模型的知识压缩进学生模型。具体而言，我们引入面向目标的蒸馏损失以引导结构搜索过程寻找学生网络架构，并引入成本敏感损失作为模型大小的约束，从而在推荐效果与效率间取得优越权衡。此外，我们利用推土机距离（EMD）实现知识蒸馏中的多对多层映射，使每个中间学生层能自适应地从其他中间教师层学习。在真实推荐数据集上的大量实验表明，与强基线相比，我们的模型取得了有竞争力或更好的准确率并获得显著推理加速，同时在不同推荐场景下为序列推荐模型发现了多样的神经架构。
引用
@article{arxiv.2107.07173,
title = {Scene-adaptive Knowledge Distillation for Sequential Recommendation via Differentiable Architecture Search},
author = {Lei Chen and Fajie Yuan and Jiaxi Yang and Min Yang and Chengming Li},
journal= {arXiv preprint arXiv:2107.07173},
year = {2022}
}