PLADIS：利用稀疏注意力在扩散模型推理时突破注意力极限

Kwanyoung Kim; Byeongsu Sim

PLADIS：利用稀疏注意力在扩散模型推理时突破注意力极限

机器学习 2025-07-22 v3 人工智能

作者: Kwanyoung Kim , Byeongsu Sim

摘要

扩散模型通过诸如无分类器引导 (CFG) 等引导技术在生成高质量条件样本方面取得了显著成果。然而，现有方法往往需要额外的训练或神经函数评估 (NFE)，不兼容引导蒸馏模型；且依赖需识别目标层的启发式方法。本文提出一种新方法，称为 PLADIS，通过稀疏注意力在推理时提升预训练模型 (U-Net/Transformer) 的性能。具体而言，我们在交叉注意力层中利用 softmax 及其稀疏版本对查询-键相关性进行外推，而无需额外训练或 NFE。凭借稀疏注意力的鲁棒性，PLADIS 释放了文本到图像扩散模型的潜能，使其在以往难以应对的领域展现出前所未有的效果。该方法无缝集成于引导技术，包括引导蒸馏模型。广泛实验表明，PLADIS 在文本对齐和人类偏好方面实现显著提升，提供了一种高效且通用的解决方案。详见项目页面：https://cubeyoung.github.io/pladis-proejct/

引用

@article{arxiv.2503.07677,
  title  = {PLADIS: Pushing the Limits of Attention in Diffusion Models at Inference Time by Leveraging Sparsity},
  author = {Kwanyoung Kim and Byeongsu Sim},
  journal= {arXiv preprint arXiv:2503.07677},
  year   = {2025}
}

备注

Camera ready version for ICCV 2025, 30 pages, 20 figures, project page : https://cubeyoung.github.io/pladis-proejct/

PLADIS：利用稀疏注意力在扩散模型推理时突破注意力极限

摘要

引用

备注

相关论文