DP-aware AdaLN-Zero：控制差分隐私扩散模型中的条件引起的重尾梯度
机器学习
2026-02-27 v1 计算机视觉与模式识别
摘要
条件注入使扩散模型能够生成具有上下文感知的输出，这是许多时间序列任务的必需品。然而，异构的条件上下文（例如观察历史、缺失模式或异常协变量）会引起 per-example 梯度呈重尾分布。在差分隐私随机梯度下降 (DP-SGD) 下，这些罕见的条件驱动重尾梯度会不成比例地触发全局裁剪，导致异常值主导更新、较大的裁剪偏差以及在固定隐私预算下性能下降。本文提出 DP-aware AdaLN-Zero，这是一种用于条件扩散变换器的感知灵敏度的条件机制，旨在限制条件引起的增益，而不修改 DP-SGD 机制。DP-aware AdaLN-Zero 通过受限重参数化联合约束条件表示幅度和 AdaLN 调制参数，抑制在梯度裁剪和噪声注入之前出现的极端梯度尾部事件。实验表明，在匹配的隐私设置下，配备 DP-aware AdaLN-Zero 的 DP-SGD 在插值/插值和预测方面均取得改进。我们在真实世界的电力数据集和两个公开的 ETT 基准上观察到一致的提升。此外，梯度诊断将这些改进归因于条件特定的尾部重塑和减少裁剪失真，同时在非私有训练中保持表达能力。总体而言，这些结果表明，感知灵敏度的条件机制可在不牺牲标准性能的前提下显著提升私有条件扩散训练的效果。
关键词
引用
@article{arxiv.2602.22610,
title = {DP-aware AdaLN-Zero: Taming Conditioning-Induced Heavy-Tailed Gradients in Differentially Private Diffusion},
author = {Tao Huang and Jiayang Meng and Xu Yang and Chen Hou and Hong Chen},
journal= {arXiv preprint arXiv:2602.22610},
year = {2026}
}