这张生成的人像真实存在吗?人体异常的细粒度检测与校正
计算机视觉与模式识别
2024-11-22 v1 人工智能
摘要
近期视觉合成技术的进步显著提升了生成人物照片的逼真度,而人物照片因其广泛的应用性和需求而至关重要。然而,现有的文本到图像或文本到视频模型常常生成质量较低的人物照片,其身体结构可能与真实世界存在差异,我们称之为“异常人体”。这类异常通常被认为不可接受,对其检测和修复构成重大挑战。这些挑战要求具备细粒度的异常识别能力,即需要同时定位异常位置和判断异常类型。直观上,在各种视觉任务上表现优异的视觉语言模型(VLMs)非常适合此任务。然而,它们在人物照片异常检测上的表现相当不佳。因此,向研究界强调这一任务非常重要。在本文中,我们首先引入了一个简单但具有挑战性的任务,即**细粒度人体异常检测**(FHAD),并构建了两个高质量数据集用于评估。随后,我们提出了一种名为HumanCalibrator的精细框架,该框架能够识别并修复人体结构中的异常,同时保留其他内容。实验表明,我们的HumanCalibrator在异常检测上达到了高精度,并在视觉比较中取得了提升,同时保留了其他视觉内容。
关键词
引用
@article{arxiv.2411.14205,
title = {Is this Generated Person Existed in Real-world? Fine-grained Detecting and Calibrating Abnormal Human-body},
author = {Zeqing Wang and Qingyang Ma and Wentao Wan and Haojie Li and Keze Wang and Yonghong Tian},
journal= {arXiv preprint arXiv:2411.14205},
year = {2024}
}
备注
16 pages, 14 figures