数据预处理是在建模之前对采样数据做清洗、转换与规约以改善数据质量的环节,核心构成包括数据筛选与清洗、变量转换、缺失与坏数据处理、数据标准化与降维。它解决的是采样数据噪声多、不完整甚至不一致,以及维度过大难以直接降维的问题,并不解决业务目标设定本身的偏差。
由于采样数据中常常包含许多含有噪声、不完整甚至不一致的数据,对数据挖掘所涉及的数据对象必须进行预处理。那么如何对数据进行预处理以改善数据质量,并最终达到完善数据挖掘结果的目的呢?
针对采集的餐饮数据,数据预处理主要包括数据筛选、数据变量转换、缺失值处理、坏数据处理、数据标准化、主成分分析、属性选择、数据规约等。