SAIL：面向最小人类反馈的扩散模型自我放大式迭代学习
计算机视觉与模式识别
2026-02-12 v2
摘要
在奖励模型不可用或不实用的情形下，对扩散模型进行人类偏好对齐仍具有挑战性，尤其是收集大规模偏好数据集的成本高昂。\textit{这引出一个根本问题：我们能否仅通过最小人类反馈、无需辅助奖励模型，即可实现有效对齐，通过释放扩散模型自身的潜在能力？}本文提出SAIL(\textbf{S}elf-\textbf{A}mplified \textbf{I}terative \textbf{L}earning)，一种新型框架，使扩散模型能够通过迭代自我改进实现自我教学。该框架从最小种子人类标注偏好对集合开始， operate in a closed-loop manner where the model progressively generates diverse samples, self-annotates preferences based on its evolving understanding, and refines itself using this self-augmented dataset. 为确保稳健学习并防止灾难性遗忘，我们引入排序偏好混合策略，该策略在探索与遵循初始人类先验之间进行精细平衡。大量实验表明，SAIL在多个基准测试中均优于最新方法，仅使用了现有方法所需偏好数据的6\%，揭示了扩散模型在得到充分激发时具有惊人的自我改进能力，这些能力可以有效取代大规模人工标注和外部奖励模型。
引用
@article{arxiv.2602.05380,
title = {SAIL: Self-Amplified Iterative Learning for Diffusion Model Alignment with Minimal Human Feedback},
author = {Xiaoxuan He and Siming Fu and Wanli Li and Zhiyuan Li and Dacheng Yin and Kang Rong and Fengyun Rao and Bo Zhang},
journal= {arXiv preprint arXiv:2602.05380},
year = {2026}
}