共享参数子空间与新发展不一致行为中的跨任务线性结构
机器学习
2025-11-05 v1 人工智能
摘要
最近的工作发现，大型语言模型在针对狭窄有害数据集进行微调后，可能发展出广泛不一致的行为，称为新发展不一致 (EM)。然而，使这种在不同领域之间的有害泛化的基本机制仍不完全理解。本文我们采用几何视角来研究 EM，并演示其在不同数据集中编码有害行为的基本跨任务线性结构。具体而言，我们发现 EM 参数在不同任务之间存在强烈收敛，微调权重更新显示相对较高的余弦相似性，以及通过主角和投影重叠度量的共享低维子空间。进一步，我们也通过线性模式连接显示功能等价性，其中跨越狭窄不一致任务的插值模型保持连贯的广泛不一致行为。我们的结果表明，EM 源于不同狭窄任务发现相同的共享参数方向，表明有害行为可能组织到权重景观的特定、可预测区域。通过揭示参数几何与行为结果之间的基本联系，我们希望我们的工作催化进一步的研究，以解释参数空间和基于权重的干预。
引用
@article{arxiv.2511.02022,
title = {Shared Parameter Subspaces and Cross-Task Linearity in Emergently Misaligned Behavior},
author = {Daniel Aarao Reis Arturi and Eric Zhang and Andrew Ansah and Kevin Zhu and Ashwinee Panda and Aishwarya Balwani},
journal= {arXiv preprint arXiv:2511.02022},
year = {2025}
}