Augur：从小说中挖掘人类行为以驱动交互系统

从我们醒来时准备咖啡的智能家居，到在重要对话中知道不打扰我们的手机，我们对人机交互（HCI）的集体愿景想象了一个计算机能理解广泛人类行为的未来。然而，当今的系统未能达到这些愿景，因为行为范围太广，设计师或程序员无法手动捕获。在本文中，我们转而证明可以通过分析超过十亿词的现代小说来挖掘广泛的人类行为知识库。我们最终的知识库 Augur 训练向量模型，可以从现代语境中的周围对象预测数千种用户活动：例如，用户是否可能在吃东西、与朋友会面或自拍。Augur 利用这些预测来识别人们通常对世界中的物体采取的动作，并根据用户当前情境估计其未来活动。我们展示了由 Augur 驱动的、基于活动的系统，例如一部在你接听可能性低时自动静音的手机，以及根据当前活动调整的动态音乐播放器。在实地部署的 Augur 驱动可穿戴相机对其无监督的日常常见活动预测实现了 96% 召回率和 71% 准确率。第二项评估中，人类评判员在广泛输入图像上对该系统预测进行评分，发现 94% 被评为合理。