TD3：一种基于Tucker分解的序列推荐数据集蒸馏方法

在以数据为中心的AI时代，推荐系统的焦点已从以模型为中心的创新转向以数据为中心的方法。现代AI模型的成功建立在大规模数据集之上，但这也导致了巨大的训练成本。数据集蒸馏作为一种关键解决方案应运而生，它通过浓缩大型数据集来加速模型训练，同时保持模型性能。然而，浓缩离散且序列相关的用户-物品交互，尤其是在物品集合庞大的情况下，带来了相当大的挑战。本文提出了\textbf{TD3}，一种在元学习框架下基于\textbf{T}ucker \textbf{D}ecomposition的新型\textbf{D}ataset \textbf{D}istillation方法，专为序列推荐设计。TD3从原始数据中蒸馏出一个完全表达性的\emph{合成序列摘要}。为了有效降低计算复杂度并提取精炼的潜在模式，Tucker分解将摘要解耦为四个因子：\emph{合成用户潜在因子}、\emph{时序动态潜在因子}、\emph{共享物品潜在因子}，以及一个建模它们之间相互关系的\emph{关系核心}。此外，在双层优化中提出了一种替代目标，旨在对齐从原始数据和合成序列摘要训练的模型中提取的特征空间，超越了朴素的性能匹配方法。在\emph{内循环}中，一种增强技术允许学习器紧密拟合合成摘要，确保其在\emph{外循环}中得到准确更新。为了加速优化过程并解决长程依赖问题，采用了RaT-BPTT进行双层优化。在多个公共数据集上的实验和分析证实了所提出设计的优越性和跨架构泛化能力。代码发布于https://github.com/USTC-StarTeam/TD3。