帮助机器更好地帮助你：在野生环境中对基于怀疑学习的类人数据清洗进行评估
机器学习
2025-10-29 v1 人工智能
摘要
任何数字个人助理，无论用于支持任务执行、回答问题，还是管理工作和日常生活，包括健身日程，都需要高质量的注释才能正常工作。然而，用户生成的注释，无论是主动生成还是从上下文（例如来自智能手机传感器的数据）推断出来，往往容易受到错误和噪声的影响。以往的怀疑学习（SKEL）研究通过比较离线主动注释与被动数据，解决了噪声标签的问题，允许对注释准确性进行评估。然而，这种评估未包括来自最终用户的确认，因为他们是自己上下文的最佳判断者。在本研究中，我们在真实世界条件下评估了SKEL的性能，实际用户可以根据其当前的视角和需求来细化输入标签。该研究涉及在其设备上使用 iLog 移动应用程序的大学学生，持续四周。结果突显了在用户 effort 与数据质量之间找到合适平衡的挑战，以及使用 SKEL 的潜在优势，包括减少注释 effort 和提高收集数据的质量。
引用
@article{arxiv.2510.23635,
title = {Help the machine to help you: an evaluation in the wild of egocentric data cleaning via skeptical learning},
author = {Andrea Bontempelli and Matteo Busso and Leonardo Javier Malcotti and Fausto Giunchiglia},
journal= {arXiv preprint arXiv:2510.23635},
year = {2025}
}