相似性判别学习及群等变表示

机器学习中最基本的问题之一是比较样本：给定一对对象，我们希望返回一个指示（不）相似程度的值。相似性通常是任务相关的，预定义的距离可能表现不佳，从而催生了度量学习方面的研究。然而，能够学习对相似性敏感的距离函数也预设了手头对象具备丰富且具有判别力的表示。本学位论文针对这两个方面均作出了贡献。在论文第一部分，假设数据已有良好表示，我们提出了一种度量学习公式，与先前工作相比更直接地尝试优化 k-NN 准确率。我们还给出了该公式在 kNN 回归度量学习、非对称相似性学习以及汉明距离判别学习上的扩展。在第二部分，我们考虑计算预算有限的情形，即优化可能度量空间不可行，但仍期望获得标签感知的距离度量。我们提出了一种简单且计算代价低的方法来估计有良好动机的度量，仅依赖梯度估计，并讨论了理论与实验结果。在最后一部分，我们处理表示问题，考虑群等变卷积神经网络（GCNNs）。对对称变换的等变性在 GCNNs 中被显式编码；经典 CNN 是最简单的例子。特别地，我们提出了一种用于球面数据的 SO(3)-等变神经网络架构，其完全在傅里叶空间中运算，同时也为设计对任意连续紧群作用等变的完全傅里叶神经网络提供了形式化方法。