基于功能潜空间对齐的模型拼接
机器学习
2025-05-27 v1
摘要
评估功能相似性涉及量化独立训练的神经网络学习功能相似表示的程度。可靠地推断这些网络的功能相似性仍是一个悬而未决的问题，对人工智能具有深远影响。模型拼接已成为一种有前景的范式，其中通过最优仿射变换对齐两个模型以解决任务，拼接后的模型作为功能相似性的代理。在本工作中，我们从知识蒸馏文献中汲取灵感，提出了功能潜空间对齐（FuLA）作为模型拼接的一种新颖最优性条件。我们重新审视了先前探索的功能相似性测试平台，并引入了一个新的测试平台，基于此，FuLA 成为评估功能相似性总体上更可靠的方法。具体而言，我们在 对抗训练、捷径训练 和 跨层拼接 中的实验表明，FuLA 不易受到与任务线索训练相关伪影的影响，同时能够实现拼接级匹配所遗漏的非平凡对齐。
引用
@article{arxiv.2505.20142,
title = {Model Stitching by Functional Latent Alignment},
author = {Ioannis Athanasiadis and Anmar Karmush and Michael Felsberg},
journal= {arXiv preprint arXiv:2505.20142},
year = {2025}
}