MEPNet：用于脑 CT 报告生成的医疗实体平衡提示网络

自动生成脑 CT 报告因其潜在助力放射科医生诊断颅骨疾病而广受关注。然而，脑 CT 扫描涉及广泛的医疗实体，如多样的解剖区域和病灶，在 3D 体积空间中呈现出高度不一致的空间模式。这导致现有方法对医疗实体产生偏置学习，进而导致生成报告的重复性和不准确。为此，我们提出一种医疗实体平衡提示网络 (MEPNet)，该网络利用大型语言模型 (LLM) 对各种实体进行公平解释，以实现准确的脑 CT 报告生成。通过引入视觉嵌入和医疗实体学习状态作为丰富线索，我们的方法提示 LLM 在多样实体方面进行平衡学习，从而增强报告的全面性。首先，为了提取实体的视觉嵌入，我们提出知识驱动的联合注意力机制，以利用显式和隐式医疗知识探索和提炼实体模式。然后，设计一种学习状态评分器来评估实体视觉嵌入的学习情况，产生特定于 individual 实体的独特学习状态。最后，这些实体视觉嵌入和状态精心集成到多模态提示中，以指导 LLM 的文本生成。这一过程允许 LLM 对偏差适应的实体进行自适应学习，从而覆盖生成报告中的详细发现。我们在两个脑 CT 报告生成基准上进行实验，显示在临床准确性和文本连贯性方面的有效性。