棱柱假设：通过统一自编码实现语义与像素表征的和谐
计算机视觉与模式识别
2026-04-02 v5
摘要
不同模态的深层表征本质上是相互交织的。本文系统地分析了各种语义编码器和像素编码器的谱特征。意外地，我们的研究发现，编码器特征谱与其功能角色之间存在高度相关且鲜为人知的对应关系：语义编码器主要捕获低频分量，这些分量编码抽象含义，而像素编码器则额外保留高频信息，用于传递细粒度细节。此启发性发现提供了一种将编码器行为与其底层谱结构联系起来的统一视角。我们将其定义为棱柱假设（Prism Hypothesis），即每个数据模态都可视为自然世界在共享特征谱上的投影，恰如水晶。基于这一洞见，我们提出了统一自编码（UAE），一种通过创新的频带调制器实现语义结构与像素细节无缝共存的模型。广泛的实验表明，UAE 有效地在单个潜在空间中统一了语义抽象和像素级保真度，实现了最新的性能。此外，我们表明 UAE 可直接应用于像素空间建模，显著改善了 FID 和 IS 指标，超越了 vanilla JIT 基线。我们的代码可在 https://github.com/WeichenFan/UAE 获取。
引用
@article{arxiv.2512.19693,
title = {The Prism Hypothesis: Harmonizing Semantic and Pixel Representations via Unified Autoencoding},
author = {Weichen Fan and Haiwen Diao and Quan Wang and Dahua Lin and Ziwei Liu},
journal= {arXiv preprint arXiv:2512.19693},
year = {2026}
}
备注
Code link: https://github.com/WeichenFan/UAE