通过对称注意力分解平衡扩散模型中的保真度与多样性：赫姆霍夫角度

我们对 transformer 中的 pre-softmax 注意力矩阵 $\mathbf{QK^\top}$ 进行特征，將其視為編碼輸入特徵之間兩兩關聯的聯想記憶矩陣。通過將矩陣分解為對稱與反對稱兩部分，我們將對稱部分解釋為能量景觀結構的控制器，將反對稱部分解釋為驅動該景觀環流的機制。依賴於對稱部分所引導的能量公式，我們推導出類似 Hopfield 的穩定性度量，以量化檢索特徵的穩定性。我們觀察到，類似 Hopfield 的穩定性度量與生成中的保真度-多樣性權衡存在顯著關聯。最後，我們提出可控的調節器，通过修改底層動力學的環流，來調節此權衡。我們的 GitHub（https://github.com/hyeon-cho/Attention-Symmetric-Decomposition）上提供了代碼。