通过空文本嵌入优化实现文本到图像扩散模型的测试时对齐
计算机视觉与模式识别
2025-11-27 v1 人工智能
机器学习
摘要
测试时对齐（TTA）旨在推理过程中使模型适应特定的奖励。然而，现有方法往往对目标奖励函数优化不足或过度优化（奖励黑客）。我们提出了空文本测试时对齐（Null-TTA），该方法通过优化无分类器引导中的无条件嵌入来对齐扩散模型，而不是操纵潜变量或噪声变量。由于文本嵌入空间具有结构化的语义特性，这确保了对齐发生在语义连贯的流形上，并防止了奖励黑客（利用非语义噪声模式来提高奖励）。由于无分类器引导中的无条件嵌入充当模型生成分布的锚点，Null-TTA 直接引导模型的生成分布朝向目标奖励，而不仅仅是调整样本，甚至无需更新模型参数。得益于这些理想特性，我们展示了 Null-TTA 在实现最先进的目标测试时对齐的同时，保持了强大的跨奖励泛化能力。这确立了语义空间优化作为一种有效且原则性的 TTA 新范式。
引用
@article{arxiv.2511.20889,
title = {Test-Time Alignment of Text-to-Image Diffusion Models via Null-Text Embedding Optimisation},
author = {Taehoon Kim and Henry Gouk and Timothy Hospedales},
journal= {arXiv preprint arXiv:2511.20889},
year = {2025}
}