中文

FairSync:确保分布式推荐检索中的摊销组曝光

信息检索 2024-02-19 v1

摘要

为了追求公平和均衡发展,推荐系统 (RS) 通常优先考虑组公平性,确保特定群体在给定时期内维持最低水平的曝光。例如,RS 平台旨在根据其需求确保新提供者或特定类别物品获得足够的曝光。现代工业级 RS 通常采用两阶段流程:第一阶段(检索阶段)从分布在各个服务器上的数百万物品中检索数百个候选项,第二阶段(排序阶段)则专注于从第一阶段选出的物品中呈现一个小规模但准确的选择。现有确保摊销组曝光的工作主要集中在第二阶段,然而第一阶段对于该任务同样至关重要。如果没有高质量的候选集,第二阶段排序器就无法确保所需的组曝光。先前为第二阶段设计的公平感知工作通常需要访问和遍历所有物品。然而,在第一阶段,数百万物品分布式存储在服务器上,使得遍历所有物品变得不可行。如何在分布式检索过程中确保组曝光是一个具有挑战性的问题。为解决这一问题,我们引入了一种名为 FairSync 的模型,将该问题转化为一个受约束的分布式优化问题。具体而言,FairSync 通过将问题移至对偶空间来解决该问题,其中中心节点将历史公平数据聚合为一个向量并分发给所有服务器。为了权衡效率与准确性,使用梯度下降技术定期更新对偶向量的参数。在两个公共推荐检索数据集上的实验结果表明,FairSync 优于所有基线方法,在实现所需最低曝光水平的同时保持了高水平的检索准确率。

关键词

引用

@article{arxiv.2402.10628,
  title  = {FairSync: Ensuring Amortized Group Exposure in Distributed Recommendation Retrieval},
  author = {Chen Xu and Jun Xu and Yiming Ding and Xiao Zhang and Qi Qi},
  journal= {arXiv preprint arXiv:2402.10628},
  year   = {2024}
}

备注

Accepted in WWW'24