相似度-距离-幅值语言模型
计算与语言
2025-10-31 v1
摘要
我们介绍相似度-距离-幅值(SDM)语言模型(SDM LMs)，它是一类序列预测模型，通过微调以最大化生成序列中位于最终层SDM激活层划分的高概率、良好校准区域中所占比例的模型。该激活层用于指令跟随式任务的二分类。我们展示，现有的预训练解码器-only Transformer语言模型可通过监督式微调轻松转换为SDM模型。在训练期间使用最终层SDM激活层，通过对比输入编码方案估算监督式下一个标记损失的基底变更，并生成额外的硬负样本。结果是相对于强监督基线，减少中止率(即改善统计效率)。
引用
@article{arxiv.2510.26183,
title = {Similarity-Distance-Magnitude Language Models},
author = {Allen Schmaltz},
journal= {arXiv preprint arXiv:2510.26183},
year = {2025}
}
备注
8 pages, 5 tables