数字化转型网数据专题将关注数据治理、数据质量管理、数据架构、主数据管理、数据仓库、元数据管理、数据备份、数据挖掘、数据分析、数据安全、大数据、数据合规、等数据相关全产业链相关环节。
数据挖掘与数据分析的流程相似，都是从数据中发现知识的过程，只不过由于数据体量和维度的原因数据挖掘在计算上最大。
对数据挖掘而言首先是进行数据获取，数据获取的来源很多，有系统中自行记录的数据，对这种数据只要导出即可，同时也有外来数据,比如网页爬取得数据，或者是购买的数据，这些数据需要按照分析系统的需求进行导入。数字化转型网www.szhzxw.cn
在完成了数据获取步骤后就需要进行数据处理，数据处理即是处理数据中的缺失值，错误值以及异常值，按照相关的规则进行修正或者删除，同时在数据处理中也需要根据变脸之间的关系，产生出一系列的衍生变量。总而言之，数据处理的结果是可以进行分析的数据，所有数据在进行分析以前都需要完成数据处理的步骤。
如果数据在分布上存在较极端的情况就需要经历数据平衡的不走。例如对于要输出的原始变量而言，存在及其少量的一种类别以及及其大量的另一种类别，就像有大量的0和少量的1一样，在这种情况下就需要对数据进行平衡，通过复制1或者削减0的形式生成平衡数据集。
当完成数据平衡后，将会把数据处理的结果分出一部分作为验证集使用，如果数据平衡性好那么剩下的部分作为训练集，如果平衡性不好那么平衡数据集就会作为训练集使用。当有了训练集后就按照相关的算法对训练集进行学习，从而产生出相关的规则和参数。
当有了规则以后，就将产生的规则用在验证集中，通过对比已知结果和输出结果之间的误差情况来判断是否通过。如果通过则在后面再测试集中使用，如果未通过就通过数据平衡、参数调整，以及变量选择等手段重新调整规则，并再次进行验证直到通过验证。数字化转型网www.szhzxw.cn
对于验证集验证的步骤而言，在无监督学习中没有这个步骤，当缠上规则后就直接用于测试集。
数据挖掘是一个周而复始的过程，在生成规则的过程中不断地对模型进行调整，从而提升精度。同时也将多批次的历史数据引入到数据挖掘的过程中，进行多次的验证从而在时间上保证模型的稳定性。
声明：本文来自网络，版权归作者所有。文章内容仅代表作者独立观点，不代表数字化转型网立场，转载目的在于传递更多信息。如有侵权，请联系我们。数字化转型网www.szhzxw.cn
数字化转型网数据专题包含哪些内容
数字化转型网数据专题将关注数据治理、数据质量管理、数据架构、主数据管理、数据仓库、元数据管理、数据备份、数据挖掘、数据分析、数据安全、大数据、数据合规、等数据相关全产业链相关环节。
数字化转型网数据专题包含： 数字化转型网（www.szhzxw.cn）
1、数据相关外脑支持：100+数据相关专家、100+数据实践者、1000+相关资料
2、数据研习社：与全球数据相关专家、实践者共同探讨相关问题，推动产业发展！
3、国际认证培训：目前已引进DAMA国际认证CDMP，其他国内外认证也在逐步引进中
4、典型案例参考：与数字化转型网数据要素X研习社社员一起学习典型案例，共探企业数据落地应用
本文由数字化转型网（www.szhzxw.cn）转载而成，来源于全栈云技术架构；编辑/翻译：数字化转型网Jack。
