PinFM：面向十亿级视觉发现平台的用户活动序列基础模型
机器学习
2025-08-22 v3 信息检索
摘要
用户活动序列已成为推荐系统中最重要的信号之一。我们 presented 一个面向数十亿用户活动跨多个应用的基础模型，PinFM。我们使用海量用户活动数据对具有200亿参数以上(transformer)模型进行预训练，然后针对特定应用进行微调，高效地将其与现有模型集成。虽然预训练-微调方法在其他领域（如视觉和自然语言处理）中广受欢迎，但其在工业级推荐系统中的应用面临诸多挑战。基础模型必须足够可扩展，能够在每秒为数百万项目打分，同时满足这些系统所施加的严格成本和延迟约束。此外，它应该捕获用户活动与其他特征之间的交互，并处理在预训练阶段未出现的新项目。我们发展了创新的技术来解决这些挑战。我们的基础设施和算法优化，例如去重交叉注意力变换器（Deduplicated Cross-Attention Transformer, DCAT），使我们在Pinterest内部数据上的吞吐量提升了600%。我们展示了PinFM能够通过改变输入序列来学习用户序列与候选项目之间的交互，实现对新项目的参与度提升20%。PinFM现已部署，用于改善超过半数十亿用户的体验。
引用
@article{arxiv.2507.12704,
title = {PinFM: Foundation Model for User Activity Sequences at a Billion-scale Visual Discovery Platform},
author = {Xiangyi Chen and Kousik Rajesh and Matthew Lawhon and Zelun Wang and Hanyu Li and Haomiao Li and Saurabh Vishwas Joshi and Pong Eksombatchai and Jaewon Yang and Yi-Ping Hsu and Jiajing Xu and Charles Rosenberg},
journal= {arXiv preprint arXiv:2507.12704},
year = {2025}
}
备注
clean up typos