利用对比学习提升大语言模型的双向推理能力：以混淆任务为案例研究
计算与语言
2025-09-09 v1 人工智能
摘要
本研究聚焦于人工智能中的一个根本问题：大语言模型是否真正理解概念，抑或仅通过模式识别完成任务。作者提出了双向推理概念，即能够在未明确训练逆向方向的情况下，自然地对转换在两个方向上应用。他们认为，真正的理解应然然具备可逆性。例如，能够将变量名 userIndex 改为 i 的模型，也应能够推断出 i 表示用户索引，而无需针对逆向任务进行训练。研究人员测试了当前的语言模型，发现其存在一种称为认知特化的现象：当模型在前向任务上进行微调后，其在这些任务上的表现得益，但其进行双向推理的能力却显著下降。为此，他们开发了对比微调（Contrastive Fine-Tuning, CFT），通过三类示例进行训练：保持语义的正例、语义不同的负例以及前向方向的混淆示例。该方法旨在发展更深层次的理解，而非表面化的模式识别，使逆向能力自然地在无需显式逆向训练的情况下得以发展。实验结果表明，CFT 成功实现了双向推理，使模型在逆向任务上实现了强大的性能，同时保持了前向任务的能力。作者得出结论，双向推理既可作为评估真正理解能力的理论框架，也可作为开发更强大人工智能系统的实用训练方法。
引用
@article{arxiv.2509.05553,
title = {Using Contrastive Learning to Improve Two-Way Reasoning in Large Language Models: The Obfuscation Task as a Case Study},
author = {Serge Lionel Nikiema and Jordan Samhi and Micheline Bénédicte Moumoula and Albérick Euraste Djiré and Abdoul Kader Kaboré and Jacques Klein and Tegawendé F. Bissyandé},
journal= {arXiv preprint arXiv:2509.05553},
year = {2025}
}