OrthoGeoLoRA：面向 Web 上结构化社会科学概念检索的几何参数高效微调
计算与语言
2026-01-15 v1
摘要
大语言模型和文本编码器日益驱动社会科学中基于 Web 的信息系统，包括研究人员、政策制定者和公民社会使用的数字图书馆、数据目录和搜索界面。全量微调通常在计算和能源上消耗巨大，这对于 Web4Good 生态系统中的小型机构和非营利组织来说可能是难以承受的。参数高效微调（PEFT），尤其是低秩适配，通过仅更新少量参数来降低这一成本。我们证明了标准的 LoRA 更新 存在几何缺陷：规范自由度、尺度模糊以及秩坍缩趋势。我们引入了 OrthoGeoLoRA，通过将低秩因子约束为正交（Stiefel 流形），强制执行类 SVD 形式 。几何重参数化实现了这一约束，同时与 Adam 等标准优化器和现有微调流程保持兼容。我们还提出了一个基于欧洲语言社会科学叙词表（ELSST）的分层概念检索基准，该叙词表广泛用于组织数字存储库中的社会科学资源。使用多语言句子编码器的实验表明，在相同的低秩预算下，OrthoGeoLoRA 在排序指标上优于标准 LoRA 和几种强大的 PEFT 变体，为在资源受限环境中适配基础模型提供了一条更具计算和参数效率的路径。
引用
@article{arxiv.2601.09185,
title = {OrthoGeoLoRA: Geometric Parameter-Efficient Fine-Tuning for Structured Social Science Concept Retrieval on theWeb},
author = {Zeqiang Wang and Xinyue Wu and Chenxi Li and Zixi Chen and Nishanth Sastry and Jon Johnson and Suparna De},
journal= {arXiv preprint arXiv:2601.09185},
year = {2026}
}