幅度调制等变适配器：用于等变图神经网络参数高效微调
机器学习
2025-12-12 v2 人工智能
摘要
基于球谐函数的预训练等变图神经网络为计算昂贵的从头计算方法提供了高效且准确的替代方案，但将其适应新任务和化学环境仍需微调。传统的参数高效微调（PEFT）技术，如适配器和LoRA，通常会破坏对称性，使其与这些等变架构不兼容。最近提出的ELoRA是首个等变PEFT方法，它在许多基准测试上实现了更高的参数效率和性能。然而，它在每个张量阶内保留的相对较高的自由度仍可能扰动预训练特征分布，最终导致性能下降。为解决此问题，我们提出了幅度调制等变适配器（MMEA），一种新颖的等变微调方法，它采用轻量级标量门控，以逐阶和逐重数的方式调制特征幅度。我们证明MMEA保持了严格的等变性，并且在多个基准测试中，在训练参数少于竞争方法的情况下，持续将能量和力预测提升至最先进水平。这些结果表明，在许多实际场景中，调制通道幅度足以使等变模型适应新的化学环境而不破坏对称性，为等变PEFT设计指明了新范式。
引用
@article{arxiv.2511.06696,
title = {Magnitude-Modulated Equivariant Adapter for Parameter-Efficient Fine-Tuning of Equivariant Graph Neural Networks},
author = {Dian Jin and Yancheng Yuan and Xiaoming Tao},
journal= {arXiv preprint arXiv:2511.06696},
year = {2025}
}
备注
Accepted at AAAI 2026 (Poster)