GPT4MIA：利用生成式预训练Transformer (GPT-3) 作为医学图像分析的即插即用转导模型
计算机视觉与模式识别
2023-03-22 v3 人工智能
机器学习
多媒体
摘要
在本文中，我们提出一种新方法(称为GPT4MIA)，利用生成式预训练Transformer (GPT) 作为医学图像分析(MIA)的即插即用转导推断工具。我们提供了关于为何如GPT-3这样的大型预训练语言模型可用作MIA即插即用转导推断模型的理论分析。在方法层面，我们开发了若干技术处理以提升GPT4MIA的效率和有效性，包括更好的提示结构设计、样本选择以及代表性样本/特征的提示排序。我们给出了GPT4MIA的两个具体用例(含工作流程)：(1)检测预测错误和(2)提升预测精度，与成熟的基于视觉的图像分类模型(如ResNet)协同工作。实验验证了我们所提方法对这两项任务均有效。我们进一步讨论了利用基于Transformer的大型语言模型于更广泛MIA应用中的机遇与挑战。
引用
@article{arxiv.2302.08722,
title = {GPT4MIA: Utilizing Generative Pre-trained Transformer (GPT-3) as A Plug-and-Play Transductive Model for Medical Image Analysis},
author = {Yizhe Zhang and Danny Z. Chen},
journal= {arXiv preprint arXiv:2302.08722},
year = {2023}
}
备注
Version 3: Added appendix with more results and visualizations. Questions and suggestions are welcome