Softmax信息几何：探测与驾驭

本文关注AI系统如何将语义结构编码到其表示空间几何结构中的问题。本文的着眼点是，这些表示空间的自然几何结构应反映模型如何使用表示来产生行为。我们聚焦于定义softmax分布的表示的重要特殊情况。在此情况下，我们认为自然几何是信息几何。我们的关注点在于信息几何对语义编码和线性表示假设的作用。作为示例应用，我们发展了“双向驾驭”方法，用于稳健地驾驭表示以显示特定概念。我们证明了双向驾驭最优化地修改目标概念，同时最小化对非目标概念的更改。经验上，我们发现双向驾驭增强了概念操控的可控性和稳定性。