2023全球人工智能技术创新竞赛轨道1第一名解答

Xiangyu Wu; Hailiang Zhang; Yang Yang; Jianfeng Lu

2023全球人工智能技术创新竞赛轨道1第一名解答

计算与语言 2024-07-08 v2

作者: Xiangyu Wu , Hailiang Zhang , Yang Yang , Jianfeng Lu

摘要

本文呈现我们在全球人工智能技术创新竞赛轨道1（医学影像诊断报告生成）中获奖解答。我们选用CPT-BASE作为文本生成任务的基础模型。在预训练阶段，我们删除CPT-BASE的遮盖语言建模任务，改为重构词汇表，采用跨度遮盖策略，并逐步增加遮盖比例以进行去噪自编码器预训练。在微调阶段，我们设计了迭代检索增强和噪声感知相似度桶提示策略。检索增强构建小型知识库，丰富模型的输入信息；相似度桶进一步感知小型知识库中的噪声信息，引导模型基于相似度提示生成更高质量的诊断报告。令人惊讶的是，我们的单模型在A榜排行榜上取得了2.321的分数，多个模型融合在A和B榜排行榜上分别取得了2.362和2.320的分数，最终在排名榜上夺得第一名。

关键词

医学影像报告生成 CPT-BASE 检索增强跨度遮盖去噪自编码器

引用

@article{arxiv.2407.01271,
  title  = {First Place Solution of 2023 Global Artificial Intelligence Technology Innovation Competition Track 1},
  author = {Xiangyu Wu and Hailiang Zhang and Yang Yang and Jianfeng Lu},
  journal= {arXiv preprint arXiv:2407.01271},
  year   = {2024}
}

备注

First Place of 2023 Global Artificial Intelligence Technology Innovation Competition

2023全球人工智能技术创新竞赛轨道1第一名解答

摘要

关键词

引用

备注

相关论文