中文

RouteMark:面向路由式模型合并的知识产权归属指纹

密码学与安全 2025-08-05 v1 人工智能 新兴技术 机器学习

摘要

通过混合专家模型(Mixture-of-Experts, MoE)实现模型合并已成为将多个任务特定模型整合到统一稀疏架构的可扩展解决方案,其中每个专家来自于针对不同任务微调的模型。虽然这种范式在多任务集成方面有效,但引入了一个关键且尚未充分探讨的挑战:如何在合并后为单个专家进行知识产权(IP)归属和保护。我们提出了 RouteMark,一种通过设计专家路由指纹实现 MoE 模型IP保护的框架。我们的关键洞察是,任务特定的专家在探针输入下表现出稳定且具辨识力的路由行为。为捕获这些模式,我们使用两种互补统计量构建了专家级别的指纹:路由得分指纹(Routing Score Fingerprint, RSF),量化专家激活强度;路由偏好指纹(Routing Preference Fingerprint, RPF),描述各专家优先激活的输入分布。这些指纹具有可复现性、任务辨识度高以及构建轻量等特点。为实现归属和篡改检测,我们引入基于相似度的匹配算法,对比疑似模型与参考(受害者)模型之间的专家指纹。广泛的实验在多样化任务和基于 CLIP 的 MoE 架构上表明,RouteMark 在重复使用专家时始终能获得高相似度,并与无关专家保持明显分离。此外,它对结构性篡改(专家替换、添加、删除)和参数性篡改(微调、剪枝、置换)都表现出鲁健性,优于基于权重和激活的基线方法。我们的工作为 RouteMark 作为实用且广泛适用的 MoE 模型合并中IP验证框架奠定了基础。

关键词

引用

@article{arxiv.2508.01784,
  title  = {RouteMark: A Fingerprint for Intellectual Property Attribution in Routing-based Model Merging},
  author = {Xin He and Junxi Shen and Zhenheng Tang and Xiaowen Chu and Bo Li and Ivor W. Tsang and Yew-Soon Ong},
  journal= {arXiv preprint arXiv:2508.01784},
  year   = {2025}
}

备注

MoE, Model Merging, Fingerprint