通过概率工程：为现代人工智能构建实用主义范式

近年来，深度学习取得了快速进展，使我们日益接近人工通用智能（AGI）的实现。概率建模在上述诸多突破中扮演关键角色，为捕捉数据分布提供了基础框架。然而，随着 AI 应用规模与复杂度的不断提升，传统概率建模正面临日益严峻的挑战，例如高维参数空间、异构数据来源以及不断演变的实际需求往往使经典方法显得不够灵活。本文提出一种新概念——概率工程（Probability Engineering），将深度学习中已学习到的概率分布视作工程制品。本文主张主动修改与强化这些分布，而非仅仅进行拟合或推断，以更好地应对现代 AI 所面临的多样化与动态化需求。具体而言，概率工程引入新技术与约束，以细化既有概率分布，提升其鲁棒性、效率、适应性或可信度。我们通过一系列应用案例展示了这一范式，涵盖贝叶斯深度学习、边缘 AI（包括联邦学习与知识蒸馏）以及生成式 AI（如扩散模型的文本到图像生成及大型语言模型的高质量文本生成）。这些案例表明，曾被视为静态物体的概率分布，经概率工程加工后，可满足大规模、数据密集型及可信 AI 系统日益增长的多样化需求。通过系统性地拓展与强化概率建模的作用，概率工程为当今快速发展的 AI 时代奠定了更为稳健、灵活、高效且可信的深度学习解决方案之路。