数字化转型网数据专题将关注数据治理、数据质量管理、数据架构、主数据管理、数据仓库、元数据管理、数据备份、数据挖掘、数据分析、数据安全、大数据、数据合规、等数据相关全产业链相关环节。
数据清洗是指发现并改正不完整、不正确和不一致的主数据，从而提高数据质量的过程。数据清洗从名字上也可以看出就是把“脏”的数据“洗掉”，是发现并纠正数据文件中可识别的错误的最后一道程序，包括检查数据一致性、处理无效值和缺失值等。从数据清洗的定义上我们也能够看出数据清洗是一个“脏活”；一个企业中主数据的量或多或少，有时候中小规模的企业，物料主数据也能够达到几十万，对企业来说，几十万的数据清洗工作是个“累活”；我们都知道主数据是支撑业务运行、系统集成以及数据分析的基础，主数据如果存在“脏数据”，将直接降低业务的效率，影响管理决策的准确性。因此，数据清洗还是一个责任大、任务重的活，是数据治理的一个“苦差事”。
那么如何是企业这项“脏活、累活”的苦差变成光鲜亮丽、人人都想干的美差呢？笔者建议从以下三个方面入手：
第一，思想文化建设。企业需要逐步培养全体员工的数据思维，认识到数据是企业的一些重要资产，而主数据是企业的黄金数据，谁掌握了数据谁就更有话语权。
第二，管理政策的倾斜。企业要做好数据治理，必须将数据管理作为一项战略性任务，对于数据清洗的工作企业管理者应给予一定力度的支持，采取相应的激励和考核措施，约束和激励数据质量的不断优化和提升。
第三，“人工智能”的技术。“人工智能”是人工+智能的方式进行数据清洗。智能清洗是利用数据清洗工具和先进的计算机技术，进行自动化处理，找出“脏数据”，不完整的数据，自动清洗。人工清洗是通过查找原始记录、标准文件或请教专家进行缺失数据的填补、重复数据的剔除和“脏数据”的处理。在项目实际执行过程中，是两种方式结合使用，首先利用“智能化”的计算机技术，迅速排查和找到“脏数据”和不完整的数据，再利用人工的方式进行核对、校正，这种方式比单纯的机器清洗准确率高，比单纯的人工清洗效率高。
