基于条件价值风险（CVaR）的高效尾部感知生成优化
机器学习
2026-02-20 v1 最优化与控制
摘要
微调预训练扩散模型和流模型以适应下游任务在实际部署中至关重要。现有熵正则方法主要最大化预期奖励，无法塑造尾部行为。然而，尾部控制往往至关重要：下尾决定可靠性，通过限制低奖励失败；上尾促进发现，优先考虑稀有的高奖励结果。本文提出尾部感知流微调（Tail-aware Flow Fine-Tuning, TFFT），一种基于条件价值风险（CVaR）的原则且高效的分布式微调算法。我们解决两个不同的尾部塑造目标：右CVaR用于寻找高奖励尾部的新样本，左CVaR用于控制低奖励尾部的最坏情况样本。不同于依赖非线性优化的先前方法，我们利用CVaR的变分对偶形式将其分解为解耦的两阶段程序：轻量的一维阈值优化步骤，以及通过特定伪奖励的单次熵正则微调过程。该分解使CVaR微调的计算成本与标准预期微调方法相当。我们在示例实验、高维文本到图像生成和分子设计中展示了TFFT的有效性。
引用
@article{arxiv.2602.16796,
title = {Efficient Tail-Aware Generative Optimization via Flow Model Fine-Tuning},
author = {Zifan Wang and Riccardo De Santi and Xiaoyu Mo and Michael M. Zavlanos and Andreas Krause and Karl H. Johansson},
journal= {arXiv preprint arXiv:2602.16796},
year = {2026}
}
备注
33 pages