通过动态低置信度掩码的自适应无分类器引导
计算与语言
2025-05-27 v1
摘要
无分类器引导（Classifier-Free Guidance, CFG）通过对条件预测与无条件预测进行插值，显著增强了生成模型的可控性。然而，标准 CFG 通常采用静态的无条件输入，这对于模型不确定性动态变化的迭代生成过程而言可能并非最优。我们引入自适应无分类器引导（Adaptive Classifier-Free Guidance, A-CFG），一种利用模型瞬时预测置信度来定制无条件输入的新方法。在迭代（掩码）扩散语言模型的每一步中，A-CFG 识别当前生成序列中模型表现出低置信度的 token。这些 token 被暂时重新掩码，以创建动态的、局部化的无条件输入。这使 CFG 的纠正作用精确聚焦于歧义区域，从而实现更有效的引导。我们将 A-CFG 集成至最先进的掩码扩散语言模型并验证其有效性。在多样化语言生成基准上的实验表明，A-CFG 较标准 CFG 取得显著提升，例如在 GPQA 上获得 3.9 分的增益。本工作突显了在迭代生成中动态调整引导机制以适应模型不确定性的益处。
引用
@article{arxiv.2505.20199,
title = {Adaptive Classifier-Free Guidance via Dynamic Low-Confidence Masking},
author = {Pengxiang Li and Shilin Yan and Joey Tsai and Renrui Zhang and Ruichuan An and Ziyu Guo and Xiaowei Gao},
journal= {arXiv preprint arXiv:2505.20199},
year = {2025}
}
备注
Project page: https://github.com/pixeli99/A-CFG