GULP：一种基于预测的表示间度量
机器学习
2022-10-14 v1
摘要
比较不同神经网络学到的表示近来已成为理解各类架构并最终优化它们的关键工具。在本工作中，我们引入 GULP，一种明确由下游预测任务驱动的表示间距离度量族。通过构造，GULP 对两个表示之间在正则化线性预测任务上的预测性能差异提供一致控制。此外，它满足若干理想的结构性质，如三角不等式与正交变换下的不变性，因而适用于数据嵌入与可视化。我们相对于其他方法对 GULP 进行了广泛评估，并证明其能正确区分架构族、在训练过程中收敛，且捕捉下游线性任务上的泛化性能。
引用
@article{arxiv.2210.06545,
title = {GULP: a prediction-based metric between representations},
author = {Enric Boix-Adsera and Hannah Lawrence and George Stepaniants and Philippe Rigollet},
journal= {arXiv preprint arXiv:2210.06545},
year = {2022}
}
备注
34 pages, 24 figures, to appear in NeurIPS'22