SafeSora：通过人类偏好数据集实现文本到视频生成的安全对齐
计算机视觉与模式识别
2024-06-21 v1 人工智能
数据库
摘要
为缓解大型视觉模型(LVMs)产生有害输出的风险, 本文引入SafeSora数据集以促进文本到视频生成与人类价值观的对齐研究。该数据集包含文本到视频生成任务中人类偏好, 沿两个主要维度: 有用性和无害性。为捕捉深入的人类偏好并促进众包工作者的结构化推理, 本文将有用性细分为4个子维度, 将无害性细分为12个子类别, 作为初步标注的基础。SafeSora数据集包括14,711个唯一提示、57,333个由4个不同LVMs生成的唯一视频, 以及51,691对由人类标记的偏好注释。我们进一步通过几种应用演示了SafeSora数据集的实用性, 包括训练文本到视频 moderation模型和通过微调提示增强模块或扩散模型将LVMs与人类偏好对齐。这些应用凸显了其作为文本到视频对齐研究基础的潜力, 如人类偏好建模和对齐算法的开发与验证。
引用
@article{arxiv.2406.14477,
title = {SafeSora: Towards Safety Alignment of Text2Video Generation via a Human Preference Dataset},
author = {Josef Dai and Tianle Chen and Xuyao Wang and Ziran Yang and Taiye Chen and Jiaming Ji and Yaodong Yang},
journal= {arXiv preprint arXiv:2406.14477},
year = {2024}
}