PrefPaint：通过专家人类反馈增强医学图像填充
计算机视觉与模式识别
2026-04-14 v2
摘要
图像填充是指填充缺失或损坏图像部分的过程，在医学成像中具有广泛应用。然而，为临床人工智能生成解剖学准确的合成多发性炎症影像是一个基本未被探索的问题。在肠胃内镜学等专业领域，生成图像的不准确性可能导致错误模式并在后续诊断中引发重大错误。为确保可靠性，模型需要来自肿瘤学家等领域专家的直接反馈。我们提出了PrefPaint，一个将专家人类反馈整合到Stable Diffusion填充中的交互式系统。通过使用D3PO而非完整的RLHF，我们的方法绕过了需要计算密集型奖励模型的需求，使其在资源受限的临床环境中具有高度实用性。此外，我们引入了一套简化的基于网页的界面来促进这一专家在回路中的训练。该平台的核心是Model Tree版本化界面，这是一种新的人机交互概念，用于可视化精炼模型的演化过程。这一交互式界面提供了顺畅且直观的用户体验，使其更容易提供反馈并管理精炼过程。用户研究表明，PrefPaint在减少视觉不一致性方面优于现有方法，生成的解剖学准确的多发性炎症影像非常逼真，适用于临床人工智能应用。
引用
@article{arxiv.2506.21834,
title = {PrefPaint: Enhancing Medical Image Inpainting through Expert Human Feedback},
author = {Duy-Bao Bui and Hoang-Khang Nguyen and Thao Thi Phuong Dao and Kim Anh Phung and Tam V. Nguyen and Justin Zhan and Minh-Triet Tran and Trung-Nghia Le},
journal= {arXiv preprint arXiv:2506.21834},
year = {2026}
}