残差铺筑：诊断选择性拒绝编辑中的路由瓶颈
机器学习
2026-05-21 v1 人工智能
摘要
我们研究选择性拒绝编辑作为一种三向控制问题：在指定编辑提示上诱导非拒绝，同时保持良性行为和外部编辑集合外的有害拒绝。我们引入残差铺筑（Residual Paving），一种用于冻结指令调优变换器的路由残差编辑方法，将路由选择性（是否干预）与残差编辑容量（应用何种编辑）分离。一个早层路由器预测标量门和专家混合；当激活时，提示条件化的瓶颈残差专家在保持主干不变的同时，应用后期残差更新。这种分解支持一种oracle路由诊断，其中仅替换学习到的标量门为 held-out 编辑/保持标签，残差编辑器和冻结主干保持固定。在主要的 Gemma-3-4B-IT held-out 数据集上，学习的残差铺筑将编辑拒绝率从 88.6% 降至 4.0%，并实现 95.5% 的良性分布保持和 87.3% 的有害分布保持。相同协议的单向驾驶控制在编辑成功率上显著较弱，Edit-target ActAdd 保持编辑拒绝率为 86.8%，DIM 风格拒绝驾驶保持 78.9%。剩余的失败在于 off-target 有害保持降解：有害拒绝保持在 65.3%，低于冻结基线的 81.6%。在六个 backbone 上，oracle 路由在每一行报告的诊断得分上均实现提升，中位增益为 +12.9 pp，支持学习路由选择性是主要观察瓶颈的解释。两个 backbone 的轨迹诊断进一步表明导向针对编辑目标的连续性，而非通用拒绝抑制。
引用
@article{arxiv.2605.20262,
title = {Residual Paving: Diagnosing the Routing Bottleneck in Selective Refusal Editing},
author = {Bryce Hinkley and Peyman Najafirad},
journal= {arXiv preprint arXiv:2605.20262},
year = {2026}
}