T-HITL 有效解决图像生成中的问题性关联并保持整体视觉质量
计算机视觉与模式识别
2024-02-28 v1 人工智能
摘要
生成式 AI 图像模型可能会无意中生成对人的问题性表征。过去的研究指出，全球每天有数百万用户与这些模型互动，而且这些模型（包括通过对人的问题性表征）有可能加剧和加速现实世界中的歧视及其他危害 (Bianchi et al, 2023)。在本文中，我们专注于解决人口群体与语义概念之间可能反映和强化嵌入在社会数据中的负面叙事的问题性关联的生成。基于社会学文献 (Blumer, 1958) 并将表征映射到模型行为，我们开发了一个分类法来研究图像生成模型中的问题性关联。我们探讨了在模型层面进行微调作为解决这些关联的方法的有效性，并确定视觉质量的潜在下降是传统微调的局限性。我们还提出了一种新的双重人在回路 (T-HITL) 方法，该方法有望在减少问题性关联的同时保持视觉质量。我们通过提供 T-HITL 在模型层面解决的三个问题性关联的证据，展示了 T-HITL 的有效性。我们对学术界的贡献有两方面：通过在机器学习和生成式 AI 的背景下定义问题性关联，我们引入了一个概念和技术分类法来解决其中一些关联；最后，我们提供了一种方法 T-HITL，该方法解决了这些关联，同时保持了图像模型生成的视觉质量。这种缓解不必是一种权衡，而是一种增强。
引用
@article{arxiv.2402.17101,
title = {T-HITL Effectively Addresses Problematic Associations in Image Generation and Maintains Overall Visual Quality},
author = {Susan Epstein and Li Chen and Alessandro Vecchiato and Ankit Jain},
journal= {arXiv preprint arXiv:2402.17101},
year = {2024}
}
备注
11 pages, 8 figures