面向根本可扩展模型选择：快速更新与选择

深度学习技术的不断发展正不断涌现新模型，动力学推动可扩展模型选择的研究。理想的模型选择方案应在大型候选模型池上高效支持两种操作：更新（涉及添加新候选模型或删除现有候选模型）和选择（用于定位给定任务的高性能模型）。然而，现有的模型选择解决方案对这两种操作至少一种的计算复杂度较高。在本 work 中，我们致力于实现根本(更)可扩展的模型选择，使更新和选择同时具备渐近快速性。首先，我们定义孤立模型嵌入，一族支持渐近快速更新和选择的模型选择方案：相对于候选模型数量 $m$，更新复杂度为 O(1)，选择操作在 $m$ 个向量上进行单次遍历，外加 O(1) 的模型操作。孤立模型嵌入还意味着若干令人期待的应用属性。其次，我们提出了标准化嵌入器，是孤立模型嵌入的一个经验性实现。我们通过在 100 个预训练视觉模型中选择表示用于分类任务，并测量选定模型与最佳候选者之间的性能差距来评估其有效性。实验表明，我们的实现在选择性能具有竞争力的模型方面有效，并突显了孤立模型嵌入作为面向根本(更)可扩展模型选择的有前景的方向。