通过互信息的变分界理解探针行为

随着自监督表示的成功，研究人员寻求更好地理解表示中封装的信息。在各种可解释性方法中，我们关注基于分类的线性探针。我们旨在通过构建一个利用信息论的新颖数学框架，促进对线性探针的扎实理解并提供指导原则。首先，我们将探针与互信息（MI）的变分界联系起来以放宽探针设计，将线性探针等价于微调。然后，我们通过我们的数学框架研究探针的经验行为与实践。我们分析了逐层性能曲线呈凸性的现象，这似乎违反了数据处理不等式。然而，我们表明，由于更好的可分性与递减的 MI 之间的权衡，中间表示可以具有最大的 MI 估计。我们进一步建议，线性可分表示的间隔可以作为衡量“表示优良性”的标准。我们还将准确率与 MI 作为衡量标准进行了比较。最后，我们通过观察自监督语音模型在保留单词和音素信息方面的表现，实证验证了我们的主张。