精简却更好：大型语言模型人格检测的参数高效微调
计算与语言
2025-04-09 v1 机器学习
摘要
人格检测自动从多种数据源（如社交媒体文本）识别个体的人格。然而，随着语言模型参数规模的不断增长，计算成本变得越来越难以承担。微调也变得更加复杂，使得更难为其投入 effort 且难以可靠地预测结果。我们引入一种新型参数高效微调框架 PersLLM 以解决这些挑战。在 PersLLM 中，大型语言模型 (LLM) 从原始数据中提取高维表示并存储在动态内存层中。PersLLM 随后通过可替换的输出网络更新下游层，实现对各种人格检测场景的灵活适应。通过将特征存储在内存层，我们消除了语言模型对重复复杂计算的需求。同时，轻量级输出网络作为评估框架整体效果的代理，提高了结果的可预测性。在 Kaggle 和 Pandora 等关键基准数据集上的实验结果表明，PersLLM 在显著降低计算成本的同时，保持了具竞争力的性能和强大的适应性。
引用
@article{arxiv.2504.05411,
title = {Less but Better: Parameter-Efficient Fine-Tuning of Large Language Models for Personality Detection},
author = {Lingzhi Shen and Yunfei Long and Xiaohao Cai and Guanming Chen and Imran Razzak and Shoaib Jameel},
journal= {arXiv preprint arXiv:2504.05411},
year = {2025}
}