一人一模型一世界：无遗忘的持续用户表示学习
信息检索
2021-05-11 v3
摘要
学习用户表示是迈向有效用户建模和个性化推荐系统的关键技术。现有方法通常通过在独立数据上训练为每个任务推导出一组独立的模型参数。然而，即便在不同任务中，同一用户的表示也可能具有一些共性，如偏好和个性。因此，这些分别训练的表示在性能上可能次优，且在参数共享方面效率低下。本文深入研究逐任务持续学习用户表示，即在学习新任务时使用旧任务的部分参数。一个新的问题随之出现：当训练新任务时，先前学习的参数极可能被修改，从而导致基于人工神经网络（ANN）的模型永远丧失服务于已训练旧任务的能力，该问题被称为灾难性遗忘。为应对此问题，我们提出 Conure，首个持续（或终身）用户表示学习器——即随时间学习新任务而不遗忘旧任务。具体而言，受神经网络模型通常过参数化这一事实启发，我们提出在深度用户表示模型中迭代移除旧任务中较不重要的权重。如此，我们可通过复用重要权重、修改较不重要权重以适应新任务，用单一模型学习多个任务。我们在两个真实数据集上以九个任务进行了大量实验，表明 Conure 大幅超越未特意保留旧“知识”的标准模型，并与为每个任务单独训练或合并所有任务数据同时训练的模型相比表现相当甚至更优。
引用
@article{arxiv.2009.13724,
title = {One Person, One Model, One World: Learning Continual User Representation without Forgetting},
author = {Fajie Yuan and Guoxiao Zhang and Alexandros Karatzoglou and Joemon Jose and Beibei Kong and Yudong Li},
journal= {arXiv preprint arXiv:2009.13724},
year = {2021}
}