RedOne：揭示社交网络服务中领域特定大语言模型后训练机制
机器学习
2025-10-14 v2 人工智能
社会与信息网络
摘要
作为现代信息传播的主要媒介，社交网络服务（SNS）经历了快速增长，这对平台内容管理和交互质量提升提出了重大挑战。最近，大型语言模型（LLM）的发展提供了潜在解决方案，但现有研究仅聚焦于孤立任务，这不仅在单个场景中无法从数据规模中获得持续收益，还无法灵活适应多样化的现实情境。为应对这些挑战，我们引入RedOne，这是一个为SNS设计的领域特定大语言模型，旨在突破单任务基线的性能瓶颈，并为SNS建立全面的基础。RedOne通过三个阶段的训练策略开发而来，包括继续预训练、监督微调和偏好优化，使用大规模真实世界数据集。通过大量实验，RedOne保持了强大的通用能力，在8项主要SNS任务中实现了最高可达14.02%的平均提升，在SNS双语评估基准中实现了7.56%的提升，相较于基本模型。此外，通过在线测试，RedOne在有害内容检测中的曝光率降低了11.23%，在帖子浏览搜索中的点击页面率提高了14.95%，相较于单任务微调基线模型。这些结果将RedOne确立为SNS领域的稳健域特定大语言模型，展示了在各种任务中具有出色的泛化能力，并在现实场景中展现了广泛的应用前景。
引用
@article{arxiv.2507.10605,
title = {RedOne: Revealing Domain-specific LLM Post-Training in Social Networking Services},
author = {Fei Zhao and Chonggang Lu and Yue Wang and Zheyong Xie and Ziyan Liu and Haofu Qian and JianZhao Huang and Fangcheng Shi and Zijie Meng and Hongcheng Guo and Mingqian He and Xinze Lyu and Yiming Lu and Ziyang Xiang and Zheyu Ye and Chengqiang Lu and Zhe Xu and Yi Wu and Yao Hu and Yan Gao and Jun Fan and Xiaolong Jiang and Weiting Liu and Boyang Wang and Shaosheng Cao},
journal= {arXiv preprint arXiv:2507.10605},
year = {2025}
}