SWAN：一种用于审计文本对话系统的通用框架
信息检索
2023-05-16 v1 人工智能
摘要
我们提出了一种简单且通用的框架，用于在给定若干对话会话样本作为输入的情况下，审计给定的文本对话系统。该框架基于从对话会话中提取的片段序列计算 SWAN（Schematised Weighted Average Nugget，结构化加权平均片段）分数。遵循 S-measure 与 U-measure 的方法，SWAN 利用片段在对话中的位置，基于用户模型对片段进行加权。我们还提出了一个由二十（加一）项标准组成的模式，这些标准可能值得纳入 SWAN 框架。在未来的工作中，我们计划设计适用于各类标准的对话采样方法，构建用于多系统比较的种子用户轮次，并验证 SWAN 的特定实例，以防止对话系统对用户和社会产生负面影响。本文写于筹备 ICTIR 2023 主题演讲（将于 2023 年 7 月 23 日进行）期间。
引用
@article{arxiv.2305.08290,
title = {SWAN: A Generic Framework for Auditing Textual Conversational Systems},
author = {Tetsuya Sakai},
journal= {arXiv preprint arXiv:2305.08290},
year = {2023}
}
备注
13 pages