PC Agent：睡眠中，AI 工作 —— 数智世界中的认知之旅
人工智能
2024-12-24 v1 机器学习
摘要
想象一个世界，在此期间，AI 能在您睡眠时处理日常工作——整理研究资料、撰写报告，或为明天制作演示文稿。然而，尽管现有数字助手能够完成简单任务，但远未达到人类日常处理复杂实务的水平。我们提出的 PC Agent 通过人类认知迁移，展示了迈向这一愿景的关键一步。我们的核心洞见在于：从执行简单“任务”到处理复杂“工作”，关键在于高效捕捉与学习人类在计算机使用过程中的认知过程。为验证这一假设，我们引入了三项关键创新：(1) PC Tracker，一种轻量级基础设施，能够高效收集带有完整认知语境的人机交互轨迹；(2) 两阶段认知完成管道，将原始交互数据转化为通过动作语义和思考过程完成的丰富认知轨迹；(3) 多智能体系统，融合规划智能体用于决策，与 grounding 智能体用于稳健的视觉定位。我们的初步实验在 PowerPoint 演示文稿创建中表明，仅需 133 条认知轨迹，PC Agent 便能处理涉及多应用、最高 50 步的复杂数字工作场景。这一结果凸显了我们方法的数据效率优势，进而指出，培养高效数字助手的关键在于收集人类认知数据。我们计划通过开源完整框架（包括数据收集基础设施与认知完成方法），降低研究社区开发真正强大数字助手的门槛。
引用
@article{arxiv.2412.17589,
title = {PC Agent: While You Sleep, AI Works -- A Cognitive Journey into Digital World},
author = {Yanheng He and Jiahe Jin and Shijie Xia and Jiadi Su and Runze Fan and Haoyang Zou and Xiangkun Hu and Pengfei Liu},
journal= {arXiv preprint arXiv:2412.17589},
year = {2024}
}