任务关系感知的持续用户表示学习
信息检索
2023-08-24 v3 人工智能
机器学习
摘要
用户建模通过学习将用户基于其过往行为表示到低维表示空间中，因向用户提供个性化服务而从工业界获得大量关注。先前在用户建模上的工作主要聚焦于学习为单一任务设计的任务特定用户表示。然而，由于为每个任务学习任务特定用户表示不可行，近期研究引入了通用用户表示的概念，即与多种任务相关的更具泛化性的用户表示。尽管已有方法有效，现有学习通用用户表示的方法因数据需求、灾难性遗忘以及对持续新增任务有限的学习能力，在真实应用中并不实用。本文提出一种新颖的持续用户表示学习方法，称为TERACON，其学习能力不会随已学任务数量增加而受限，同时能捕捉任务间关系。核心思想是为每个任务引入一个嵌入，即任务嵌入，用于生成任务特定的软掩码，其不仅允许整个模型参数在训练序列结束前持续更新，也促进任务间关系的捕捉。此外，我们引入一种带伪标注策略的新颖知识保留模块，成功缓解了持续学习中长期存在的灾难性遗忘问题。在公开与专有真实数据集上的大量实验证明了TERACON的优越性与实用性。我们的代码见 https://github.com/Sein-Kim/TERACON。
引用
@article{arxiv.2306.01792,
title = {Task Relation-aware Continual User Representation Learning},
author = {Sein Kim and Namkyeong Lee and Donghyun Kim and Minchul Yang and Chanyoung Park},
journal= {arXiv preprint arXiv:2306.01792},
year = {2023}
}
备注
KDD 2023