面向对话AI的透明度与控制仪表盘设计

对话式大语言模型（LLM）作为黑盒系统，使用户难以理解其输出背后的原因。这种透明度不足在担忧偏见和真实性的情况下可能引发问题。为此，我们提出一种端到端原型系统，将可解释性技术与用户体验设计相结合，以提高聊天机器人的透明度。我们首先通过证据表明，一个主流开源LLM拥有“用户模型”：通过检查系统内部状态，可提取与用户年龄、性别、教育水平和社会经济状况相关的数据。接着，我们描述了随聊天机器人界面一起设计的仪表盘，该仪表盘实时显示用户模型。仪表盘还可用于控制用户模型及系统行为。最后，我们讨论了一项研究，其中用户与经仪表盘监控的系统交互。我们的结果表明，用户欣赏看到内部状态，这有助于他们暴露有偏见的行为并提高对控制感。参与者还提出了宝贵的建议，为未来的设计与机器学习研究指明了方向。项目页面和视频演示可在 https://bit.ly/talktuner-project-page 访问。