面向文本到图像扩散模型的人类反馈数据自动过滤

通过人类反馈微调文本到图像扩散模型是一种有效的方法，可实现模型行为与人类意图的一致。然而，这一对齐过程常因人类反馈数据集的庞大尺寸和噪声质量而导致收敛缓慢。本文提出 FiFA，一种 novel 自动数据过滤算法，旨在增强使用人类反馈数据集进行扩散模型微调的效果。具体而言，我们的方法通过求解优化问题来选择数据，以最大化三个组件：偏好间隙、文本质量和文本多样性。偏好间隙概念用于识别在解决反馈数据集噪声问题方面极具信息性的样本，通过代理奖励模型进行计算。此外，我们整合了文本质量评估（由大型语言模型执行，以防止有害内容），并通过 k 近邻熵估计器考虑文本多样性以提高泛化能力。最终，我们将所有组件集成到优化过程中，通过为每个数据对分配重要性得分来近似求解解决方案，并选择最重要的样本。结果表明，我们的方法能够自动、高效地过滤数据，无需人工干预，可应用于任何大规模数据集。实验结果显示，FiFA 在训练稳定性方面显著提升，性能更佳，被人类接受率提高了 17%，同时仅使用了完整人类反馈数据集的不到 0.5%，因此 GPU 时间减少至约 1%。