增强生物医学 NLI 模型的鲁棒性：一种针对临床试验的探测方法

大型语言模型彻底改变了包括对话式 AI、内容生成、信息检索、商业智能和医疗在内的众多领域和行业。在医疗领域的一个主要应用是分析和调查用于蕴含任务的临床试验。然而，据观察，大型语言模型容易受到捷径学习、事实不一致以及上下文微小变化导致性能下降的影响。虽然进行了对抗性和鲁棒性测试以确保模型输出的完整性，但歧义仍然存在。为了确保推理过程的完整性并调查模型是否具有正确的句法和语义理解，我们使用了探测方法。在此，我使用记忆探测 (mnestic probing) 来研究在临床试验数据上训练的 Sci-five 模型。我调查了模型关于自然逻辑所学习的特征。为实现这一目标，我训练了特定任务的探针，并利用这些探针研究了训练模型的最终层。随后，我使用迭代零投影 (iterative null projection) 对训练好的模型进行了微调。结果表明模型准确率有所提高。在实验过程中，我观察到探针的大小对微调过程有影响。