个性化聊天机器人可信度评级

对话代理（通常称为聊天机器人）正日益部署于诸多领域，让人们在尝试解决特定问题时能够进行自然交互。鉴于其广泛使用，为用户提供方法与工具以提升其对聊天机器人各种属性的认知十分重要，包括用户为信任某聊天机器人可能视为重要的非功能属性。例如，用户可能希望使用无偏见、不使用辱骂性语言、不向其他用户泄露信息、且以适合用户认知水平的风格作答的聊天机器人。在本文中，我们探讨如下场景：聊天机器人不可修改、其训练数据不可访问，而中立第三方欲针对用户对各类信任问题的优先级，评估并向用户传达其可信度。此类评级可帮助用户在不同聊天机器人间选择、开发者测试其系统、业务主管为其产品定价、以及监管者制定政策。我们设想一种聊天机器人的个性化评级方法，其依赖于各问题的独立评级模块，以及用户于相关信任问题中被检测出的优先级排序，以生成聊天机器人可信度的聚合个性化评级。该方法独立于具体信任问题，且对聚合过程参数化，从而实现无缝泛化。我们展示了其通用使用，将其与在线聊天机器人集成，并在四个对话数据集与代表性用户画像上结合用户调查进行了评估。