FZI-WIM 在 SemEval-2024 任务 2：基于自洽链式思考的生物医学复杂自然语言推理
计算与语言
2024-06-17 v1 人工智能
摘要
本文描述了 FZI-WIM 在 SemEval-2024 任务 2：Safe Biomedical Natural Language Inference for Clinical Trials 中的推理系统。我们的系统利用链式思考（CoT）范式来解决这一复杂推理问题，并通过自洽性进一步提升 CoT 性能。我们不采用贪婪解码，而是对同一提示进行多次抽样，以获得多个推理链，并通过多数投票进行最终验证。自洽的 CoT 系统实现了基准 F1 分数为 0.80（名次 1），忠诚度得分为 0.90（名次 3），一致性得分为 0.73（名次 12）。我们公开代码和数据 https://github.com/jens5588/FZI-WIM-NLI4CT。
引用
@article{arxiv.2406.10040,
title = {FZI-WIM at SemEval-2024 Task 2: Self-Consistent CoT for Complex NLI in Biomedical Domain},
author = {Jin Liu and Steffen Thoma},
journal= {arXiv preprint arXiv:2406.10040},
year = {2024}
}