受控路由中的状态转移揭示重用模式
人工智能
2026-04-21 v1
摘要
基于提示的干预可以改变模型行为，但训练成功本身并不足以识别行为相关状态所代表的具体位置。我们在受控路由任务中进行研究，利用在支持数据上选择的接口、持留查询评估以及匹配的必要性、充分性和错误接口控制。对于 GPT-2 triop，一个早期接口支持在这些测试下进行精确迁移。对于 GPT-2 add/sub，零再训练编译式迁移在固定接口处恢复了大部分捐赠路由准确率，而可训练提示槽位可以在多个其他位置仅通过额外的支持示例和优化重新学习相同行为。这些结果在设置中区分了固定接口重用与提示重新定位，两者可以进行直接测试。Qwen 路由提供了针对同一匹配接口模式在算子 token 上的跨架构一致性检查，尽管捐赠特定身份在局部 V 路径上仍未解决。生成和推理分支用于映射范围：它们显示一旦控制依赖于更长的轨迹或更难的选择，传输范围就会更广，或控制器可识别性更弱。在受控路由中，固定接口迁移因此比仅凭训练提示成功更能证明重用。
引用
@article{arxiv.2604.18158,
title = {State Transfer Reveals Reuse in Controlled Routing},
author = {Yanzhen Lu and Zhicheng Qian and Muchen Jiang and Xingyu Zhou},
journal= {arXiv preprint arXiv:2604.18158},
year = {2026}
}