样本高效的个性化:将用户参数建模为低秩加稀疏分量

针对个体用户/域/企业的机器学习(ML)预测个性化对实际推荐系统至关重要。标准个性化方法涉及学习一个用户/域特定的嵌入并输入固定的全局模型,这可能具有局限性。另一方面,为每个用户/域个性化/微调模型本身——即元学习——具有高昂的存储/基础设施成本。此外,对可扩展个性化方法的严格理论研究非常有限。为解决上述问题,我们提出一种新颖的元学习式方法,将网络权重建模为低秩与稀疏分量之和。这在低秩部分共同捕获多个个体/用户的共性信息,而稀疏部分捕获用户特定的癖好。随后我们在线性设定下研究该框架,此时问题化为利用少量线性测量估计一个秩为 $r$ 的矩阵与一个 $k$ 列稀疏矩阵之和。我们提出一种计算高效的带迭代硬阈值的交替最小化方法——AMHT-LRS——来学习低秩与稀疏部分。理论上,对于可实现的 Gaussian 数据设定,我们证明 AMHT-LRS 以近乎最优的样本复杂度高效求解该问题。最后,个性化中的一个重大挑战是确保各用户敏感数据的隐私。我们通过提出我们方法的一个差分隐私变体来缓解此问题,该变体同样具备强泛化保证。