基于参数子空间解缝的高效无源时间序列自适应
机器学习
2025-02-04 v2 人工智能
信号处理
摘要
本文提出了一种针对时间序列的高效无源域适应（SFDA）框架，关注提高参数效率和数据样本利用效率。我们的方法引入了源模型准备和目标端适应的改进范式，以增强目标适应期间的训练效率。具体而言，我们以Tucker式分解方式对源模型权重进行重新参数化，在源模型准备阶段将模型分解为紧凑形式。在目标端适应期间，仅微调其中一部分分解因子，显著提升了训练效率。我们使用PAC贝叶斯分析表明，这种选择性微调策略通过约束模型学习能力，隐式地对适应过程进行正则化。此外，这种重新参数化减少了整体模型大小，提高了推理效率，特别适用于资源受限设备。我们还演示了该框架与各种SFDA方法的兼容性，在保持模型性能的同时，通过减少微调参数和推理开销（以MACs计），显著提升了计算效率，降低超过90%。
引用
@article{arxiv.2410.02147,
title = {Efficient Source-Free Time-Series Adaptation via Parameter Subspace Disentanglement},
author = {Gaurav Patel and Christopher Sandino and Behrooz Mahasseni and Ellen L Zippi and Erdrin Azemi and Ali Moin and Juri Minxha},
journal= {arXiv preprint arXiv:2410.02147},
year = {2025}
}
备注
Accepted at ICLR 2025