HEART：基于 Kent-Representation 遍历的球面嵌入对齐扩散模型
计算机视觉与模式识别
2026-05-11 v1
摘要
文本到图像扩散模型能够生成视觉惊艳的图像，但在控制图像中出现内容及其方式方面仍显得难以掌控，尤其是仅凭文本条件空间的约束。例如，更改主体或调整属性往往会导致意外的副作用，如背景改变或细节变形。这是因为大多数现有文本控制方法将嵌入空间视为欧几里得空间，应用简单线性变换，而这些变换并不反映语义概念的实际组织方式。在本工作中，我们站出反思：这些嵌入的真实几何是什么？我们发现文本编码器表示位于球面上，语义概念并非线性方向，而是结构化的各向异性分布，可由 Kent 分布更好地捕获。在此基础上，我们提出 HEART 框架，在球面上执行 Kent-aware 测地线变换。通过尊重底层几何，HEART 实现了直观且精确的编辑，如一致的主体替换和细粒度属性控制，同时保留原始场景。重要的是，HEART 无需微调、无需 inversion，也无需优化，即可跨扩散模型架构通用。我们的实验表明，一种简单视角的转变——从线性转向球面——即可解锁快速且可控的图像生成。
引用
@article{arxiv.2605.07973,
title = {HEART: Hyperspherical Embedding Alignment via Kent-Representation Traversal in Diffusion Models},
author = {Arani Roy and Shristi Das Biswas and Kaushik Roy},
journal= {arXiv preprint arXiv:2605.07973},
year = {2026}
}