面向人-智能体对齐的设计：理解人类对其智能体的期望
人工智能
2024-04-09 v1 人机交互
机器学习
摘要
我们构建利用生成式AI的自主智能体的能力与日俱增。作为此类智能体的构建者和用户，我们不清楚在智能体开始代表我们执行任务之前需要就哪些参数达成一致。为了发现这些参数，我们进行了一项定性实证研究，关于设计能够在一个虚构但贴近现实的场景——在线销售相机——中进行协商的智能体。我们发现，为了让智能体成功执行任务，人类/用户和智能体需要在6个维度上对齐：1）知识模式对齐；2）自主性和能动性对齐；3）操作对齐和训练；4）声誉启发对齐；5）伦理对齐；6）人类参与对齐。这些实证结果扩展了先前关于过程和规范对齐以及人机交互中价值观和安全需求的研究。随后，我们为那些设想一个充满人-智能体协作世界的设计师们讨论了三个设计方向。
引用
@article{arxiv.2404.04289,
title = {Designing for Human-Agent Alignment: Understanding what humans want from their agents},
author = {Nitesh Goyal and Minsuk Chang and Michael Terry},
journal= {arXiv preprint arXiv:2404.04289},
year = {2024}
}
备注
Human-AI Alignment, Human-Agent Alignment, Agents, Generative AI, Large Language Models