对比一致性搜索中优化目标的比较
机器学习
2023-11-02 v1 计算与语言
摘要
我们研究了对比一致性搜索（CCS）的优化目标，该目标旨在恢复大语言模型的内部真实性表征。我们提出了一种称为中点位移（MD）损失函数的新损失函数。我们证明，对于某个超参数值，该MD损失函数导致的探针权重与CCS非常相似。我们进一步表明，该超参数并非最优，并且使用更好的超参数时，MD损失函数比CCS获得了更高的测试准确率。
引用
@article{arxiv.2311.00488,
title = {Comparing Optimization Targets for Contrast-Consistent Search},
author = {Hugo Fry and Seamus Fallows and Ian Fan and Jamie Wright and Nandi Schoots},
journal= {arXiv preprint arXiv:2311.00488},
year = {2023}
}
备注
Socially Responsible Language Modelling Research (SoLaR) NeurIPS 2023