G-Loss：图引导的语言模型微调
计算与语言
2026-05-05 v2 人工智能
机器学习
摘要
用于微调 BERT 等预训练语言模型的传统损失函数，包括交叉熵损失、对比损失、三元组损失和监督对比损失，仅在局部邻域内操作，未能考虑全局语义结构。我们提出了 G-Loss，一种图引导的损失函数，它结合半监督标签传播以利用嵌入流形内的结构关系。G-Loss 构建了一个捕获全局语义关系的文档相似度图，从而引导模型学习更具判别性和鲁棒性的嵌入。我们在涵盖关键下游分类任务的五个基准数据集上评估了 G-Loss：MR（情感分析）、R8 和 R52（主题分类）、Ohsumed（医学文档分类）以及 20NG（新闻分类）。在大多数实验设置中，G-Loss 收敛更快并产生语义连贯的嵌入空间，从而获得比使用传统损失函数微调的模型更高的分类准确率。
引用
@article{arxiv.2604.25853,
title = {G-Loss: Graph-Guided Fine-Tuning of Language Models},
author = {Aditya Sharma and Vinti Agarwal and Rajesh Kumar},
journal= {arXiv preprint arXiv:2604.25853},
year = {2026}
}
备注
20 pages, Learning on Graphs (LoG2025)