嗨,Sheldon!从电视剧中创建深度个性化角色
计算与语言
2023-04-24 v1 人工智能
计算机视觉与模式识别
机器学习
摘要
想象一个有趣的多模态交互场景:你可以看到、听到并与AI生成的数字角色聊天,该角色能够像《生活大爆炸》中的Sheldon一样行事,作为从外观到个性的深度拷贝。针对这一奇妙的多模态聊天场景,我们提出了一项新任务,称为深度个性化角色创建(DPCC):从电视剧等多模态数据创建多模态聊天的个性化角色。具体而言,给定单模态或多模态输入(文本、音频、视频),DPCC的目标是生成多模态(文本、音频、视频)响应,该响应应良好匹配特定角色(如Sheldon)的个性,并且具有高质量。为支持这一新任务,我们进一步从电视剧中收集了一个以角色为中心的多模态对话数据集,称为深度个性化角色数据集(DPCD)。DPCD包含每个角色约1万条话语和约6小时音视频的角色特定多模态对话数据,比现有相关数据集大约大10倍。在DPCD上,我们提出了一种用于DPCC任务的基线方法,并从《生活大爆炸》电视剧中创建了5个深度个性化数字角色(DeepCharacters)。我们进行了主观和客观实验,从角色刻画和质量方面评估DeepCharacters的多模态响应。结果表明,在我们收集的DPCD数据集上,所提基线能够创建个性化数字角色以生成多模态响应。我们收集的DPCD数据集、数据收集代码及我们的基线将很快发布。
引用
@article{arxiv.2304.11093,
title = {Hi Sheldon! Creating Deep Personalized Characters from TV Shows},
author = {Meidai Xuanyuan and Yuwang Wang and Honglei Guo and Xiao Ma and Yuchen Guo and Tao Yu and Qionghai Dai},
journal= {arXiv preprint arXiv:2304.11093},
year = {2023}
}