面向扩散转换器的自适应层次化先验对齐
光学
2026-05-06 v1
摘要
表示对齐最近在加速扩散Transformer训练方面发挥了有效作用。尽管已取得成功，但现有方法通常在整个去噪轨迹中固定监督目标或固定对齐粒度，无论是基于外部视觉编码器、内部自表征还是VAE衍生特征。我们认为，时序无关的对齐方式是次优的，因为有用粒度随信噪比系统性变化。在高噪声 regime 中，扩散模型受益于粗糙的语义和布局层次级锚定，而在低噪声 regime 中，训练信号应强调空间细节和结构忠实的细化。这种非平稳对齐行为导致静态单层监督器与之产生表征失配。为此，我们提出自适应层次化先验对齐(AHPA)，一个轻量级对齐框架，利用冻结VAE编码器中天然嵌入的层次表征。AHPA提取多层VAE特征，提供从局部几何、空间拓扑到粗糙语义布局的互补先验。时序条件化动态路由器沿去噪轨迹自适应选择并加权这些层次先验，从而将对齐粒度与模型演化训练需求同步。大量实验表明，AHPA在收敛与生成质量方面优于基线，且无需额外推理成本，同时避免训练期间使用外部编码器监督。
引用
@article{arxiv.2605.03316,
title = {Quantitative cavity-enhanced photothermal dynamics in TMDC-integrated ultrahigh-Q microcavities},
author = {Hidetoshi Kanzawa and Ryo Sugano and Hajime Kumazaki and Yuta Takahashi and Shinichi Watanabe and Shun Fujii},
journal= {arXiv preprint arXiv:2605.03316},
year = {2026}
}
备注
9 pages; 5 figures