域扩展：参数高效模块作为复合域的构建块
机器学习
2025-01-27 v1
摘要
参数高效微调（PEFT）是全规模微调的高效替代方案，近日受到广泛关注。随着预训练模型规模呈指数级增长，PEFT 可有效用于对经过微调的紧凑模块——参数高效模块（PEM）进行微调，这些模块被训练成针对多样化领域的专家。在本项目中，我们探索了将这些各自微调的 PEMs 组合用于分布推广，以应对复合域。为实现模块组合，我们采用纯粹基于 PEMs 各自权重空间的简单组合函数，无需额外微调。该方法被应用于通过 4 个基本二分法构成的 16 个 Myers-Briggs Type Indicator（MBTI）复合人格类型的表示，该二分法包含 8 个单独特征，可进行合并（组合）以生成唯一的人格。我们通过在线 MBTI 人格测验问卷评估了单个特征 PEMs 以及组合后的人格 PEMs，验证了 PEFT 用于微调 PEMs 以及无需进一步微调即可合并 PEMs 以实现域组合的有效性。
引用
@article{arxiv.2501.14321,
title = {Domain Expansion: Parameter-Efficient Modules as Building Blocks for Composite Domains},
author = {Mann Patel and Divyajyoti Panda and Hilay Mehta and Parth Patel and Dhruv Parikh},
journal= {arXiv preprint arXiv:2501.14321},
year = {2025}
}
备注
6 pages, 3 figures, 2 tables