Ethical-Lens: 遏制开源文本到图像模型的恶意使用
计算机视觉与模式识别
2025-01-03 v2 计算与语言
机器学习
摘要
以Midjourney和DALLE 3等创新为代表的文本到图像模型蓬勃发展，彻底改变了各个领域的内容创作。然而，这些进步带来了关键的伦理问题，特别是滥用开源模型生成违反社会规范的内容。针对这一问题，我们引入了Ethical-Lens，这是一个旨在促进文本到图像工具的价值对齐使用而无需内部模型修改的框架。Ethical-Lens通过细化用户命令和纠正模型输出，确保文本到图像模型在毒性和偏见维度上的价值对齐。结合GPT4-V、HEIM和FairFace分数的系统评估指标评估对齐能力。我们的实验表明，Ethical-Lens将对齐能力提升到与DALLE 3等商业模型相当或更优的水平，确保用户生成的内容符合伦理标准，同时保持图像质量。这项研究表明Ethical-Lens有潜力确保开源文本到图像工具的可持续发展及其有益地融入社会。我们的代码可在https://github.com/yuzhu-cai/Ethical-Lens获取。
引用
@article{arxiv.2404.12104,
title = {Ethical-Lens: Curbing Malicious Usages of Open-Source Text-to-Image Models},
author = {Yuzhu Cai and Sheng Yin and Yuxi Wei and Chenxin Xu and Weibo Mao and Felix Juefei-Xu and Siheng Chen and Yanfeng Wang},
journal= {arXiv preprint arXiv:2404.12104},
year = {2025}
}
备注
51 pages, 15 figures, 32 tables