CharacterFlywheel：面向生产环境中迭代式提升具有吸引力且可引导的大语言模型
计算与语言
2026-03-03 v1 人工智能
社会与信息网络
摘要
本报告介绍CharacterFlywheel，这是一套用于提升Instagram、WhatsApp和Messenger等生产环境社交聊天应用中大语言模型（LLM）的迭代飞轮过程。我们从LLaMA 3.1开始，基于内部和外部真实用户流量数据，跨越15代进行模型优化。通过2024年7月至2025年4月的持续部署，我们进行了受控的7天A/B测试，显示出始终的参与度提升：8个新部署模型中，有7个相对于基准线实现了正向提升，其中最强的表现者在参与度广度上提升了最高达8.8%，在参与度深度上提升了最高达19.4%。我们还观察到在可引导性方面取得了显著进展，指令遵循率从59.2%提升至84.8%，指令违规率则从26.6%降至5.8%。我们详细阐述了CharacterFlywheel过程，该过程集成了数据 curated、奖励建模以估计和插值参与度指标的landscape、监督微调（SFT）、强化学习（RL）以及离线与在线评估，以确保每一步优化都可靠地取得进展。我们还讨论了防止过拟合的方法以及在大规模生产环境中应对动态变化的策略。这些贡献推动了大语言模型在服务于数百万用户的社交应用中的科学严谨性和理解。
引用
@article{arxiv.2603.01973,
title = {CharacterFlywheel: Scaling Iterative Improvement of Engaging and Steerable LLMs in Production},
author = {Yixin Nie and Lin Guan and Zhongyao Ma and Anchit Gupta and Yipin Zhou and Xiao Li and Zhengping Zhou and Raymond Zeng and Gelin Zhou and Shigan Chu and Ajay Thampi and Wancen Mu and Nathan Shuster and Ketong Wang and Lin Chen and Jason Brewer and Derek Hao Hu and Alexander McCauley and Jason Weston and Sem Park and Na Zhang and Kevin Tang},
journal= {arXiv preprint arXiv:2603.01973},
year = {2026}
}