SocialDial：面向社交感知对话系统的基准
计算与语言
2023-04-25 v1
摘要
对话系统已广泛应用于许多场景，如今比以往任何时候都更强大且无处不在。借助大型神经模型和海量可用数据，当前对话系统在其生命周期内可获取比任何人都多的知识。然而，当前对话系统仍未达到人类水平。对话智能体与人类之间的一个主要差距在于其感知社会规范的能力。由于资源匮乏，社交感知对话系统的发展受到阻碍。本文提出了首个基于中国社会文化的社交感知对话语料库——SocialDial。SocialDial 由两部分组成：两名人类说话人之间带有细粒度标注的 1,563 段多轮对话，以及由 ChatGPT 生成的 4,870 段合成对话。人类语料涵盖五类社会规范，共含 14 个子类。具体而言，它包含社会因素标注，包括社会关系、语境、社会距离和社会规范。然而，收集充足的社交感知对话代价高昂。因此，我们利用 ChatGPT 的力量并设计了一个基于本体论的合数据生成框架。该框架能够大规模生成合成数据。为确保合成对话质量，我们在数据收集期间设计了若干质量控制机制。最后，我们使用若干预训练模型（如 BERT 和 RoBERTa）评估了我们的数据集。基于最先进神经模型的综合实证结果表明，为对话系统建模社会规范是一个有前景的研究方向。据我们所知，SocialDial 是首个覆盖多种社会因素并具有细粒度标注的社交感知对话数据集。
引用
@article{arxiv.2304.12026,
title = {SocialDial: A Benchmark for Socially-Aware Dialogue Systems},
author = {Haolan Zhan and Zhuang Li and Yufei Wang and Linhao Luo and Tao Feng and Xiaoxi Kang and Yuncheng Hua and Lizhen Qu and Lay-Ki Soon and Suraj Sharma and Ingrid Zukerman and Zhaleh Semnani-Azad and Gholamreza Haffari},
journal= {arXiv preprint arXiv:2304.12026},
year = {2023}
}
备注
Accepted by SIGIR 2023