超越迁移准确率：用于受控低资源适应的忠实回路
计算与语言
2026-05-27 v3 人工智能
机器学习
摘要
现有的回路发现方法依赖于具有清晰反事实的模板化任务，限制了它们在多样化自然文本上的使用。我们通过标签平衡激活均值和任务方向相关性评分，将上下文分解方法适配到非结构化设置（CD-T），实现了无需反事实的回路发现。我们利用这些回路进行回路目标监督微调（CT-SFT），将参数更新限制在与任务相关的注意力头和层归一化上。在 NusaX 跨语言情感迁移上的实验表明，CT-SFT 在低资源适应方面极具竞争力。虽然非回路稀疏更新和全参数微调有时通过能力招募达到目标准确率，但 CT-SFT 独特地最小化了灾难性遗忘，保留了源语言和相关任务的性能。在 XNLI 上的扩展实验证实了这些发现在更广泛的任务和模型族中成立，表明回路目标适应为全局微调提供了一种更安全、基于因果关系的替代方案。
引用
@article{arxiv.2601.08146,
title = {Beyond Transfer Accuracy: Faithful Circuits for Controlled Low-Resource Adaptation},
author = {Khumaisa Nur'aini and Ayu Purwarianti and Alham Fikri Aji and Derry Wijaya},
journal= {arXiv preprint arXiv:2601.08146},
year = {2026}
}