TestNUC：通过邻近无标签数据一致性提升测试时计算
计算与语言
2025-06-03 v2 人工智能
信息检索
机器学习
摘要
测试时计算方法利用推理期间的额外计算资源，已被证明可有效提升大型语言模型的性能。本工作引入一种新颖且线性扩展的方法TestNUC，通过利用邻近无标签数据的局部一致性来改进测试时预测——它通过考虑该实例的模型预测以及邻近无标签实例的预测来对输入实例进行分类。我们在八个多样化的数据集上评估了TestNUC，涵盖意图分类、主题抽取、领域发现和情感检测，证明其在标准提示和自我一致性等基线方法上均表现出色。此外，TestNUC可以无缝集成到现有的测试时计算方法中，显著提升其性能。我们的分析显示，TestNUC在无标签数据量增加时能够有效扩展，并且在不同嵌入模型上表现稳健，使其在实际应用中具有实用性。我们的代码已公开：https://github.com/HenryPengZou/TestNUC。
引用
@article{arxiv.2502.19163,
title = {TestNUC: Enhancing Test-Time Computing Approaches and Scaling through Neighboring Unlabeled Data Consistency},
author = {Henry Peng Zou and Zhengyao Gu and Yue Zhou and Yankai Chen and Weizhi Zhang and Liancheng Fang and Yibo Wang and Yangning Li and Kay Liu and Philip S. Yu},
journal= {arXiv preprint arXiv:2502.19163},
year = {2025}
}
备注
Accepted by ACL 2025 main conference