一种用于多元数据清洗的通用因子方法及其在火星凤凰号任务数据中的应用

数据质量对于确保利益相关者决策数据的可靠性至关重要。在现实世界应用中，例如极端环境的科学探索，要求收集的原始数据完美是不现实的。作为数据挖掘者，当从物理上了解数据清洗的原因和过程不可行时，我们提议寻找信号的内在结构以识别多元数据的通用因子。使用我们新的数据驱动学习方法，即通用因子数据清洗方法，我们解决了当复杂外部影响似乎干扰多个数据测量时多元数据清洗的跨学科挑战。现有数据分析通常一次处理一个信号测量，而不考虑所有信号之间的关联。我们同时分析所有信号测量，以找到驱动所有测量共同变化但并非真实数据测量结果的隐藏通用因子。我们利用通用因子降低数据中的变异，而不改变数据的基础均值水平，以避免改变物理意义。