数字化转型网数据专题将关注数据治理、数据质量管理、数据架构、主数据管理、数据仓库、元数据管理、数据备份、数据挖掘、数据分析、数据安全、大数据、数据合规、等数据相关全产业链相关环节。
下面讲解最为常用的CRISP-DM方法论和SEMMA方法论。
一、CRISP-DM方法论
CRISP-DM方法论由NCR、Clementine、OHRA和Daimler-Benz的数据挖掘项目总结而来，并被SPSS公司大力推广。CRISP-DM方法论将数据挖掘项目的生命周期分为6个阶段，分别是商业理解、数据理解、数据准备、建模、评估和准备工作。数字化转型网www.szhzxw.cn
在实际项目进行过程中，由于使用者的目标背景和兴趣不同，有可能打乱各阶段顺承的关系。
在图1-16中，最外圈的循环表示数据挖掘本身的循环特征。数据挖掘是一项持续的工作。在上一个流程和解决方案中获得的经验与教训，可以给下一个项目提供指导。下面简要介绍每个阶段的特点。
1）商业理解
该阶段的特点是从商业角度理解项目的目标和要求，通过理论分析找出数据挖掘可操作问题，制订实现目标的初步计划。
2）数据理解
该阶段开始于原始数据的收集，然后是熟悉数据、标明数据质量问题、探索对数据的初步理解、发掘有趣的子集，以形成对探索关系的假设。
3）数据准备
该阶段包括所有从原始的、未加工的数据构造数据挖掘所需信息的活动。数据准备任务可能被实施多次，而且没有任何规定的顺序。这些任务的主要目的是从源系统根据维度分析的要求，获取所需要的信息，同时对数据进行转换和清洗。数字化转型网www.szhzxw.cn
4）建模
该阶段主要是选择和应用各种建模技术，同时对参数进行校准，以达到最优值。通常，同一类数据挖掘问题会有多种建模技术。一些技术对数据格式有特殊的要求，因此常常需要返回到数据准备阶段。
5）评估
在模型最后发布前，根据商业目标评估模型和检查模型建立的各个步骤。此阶段的关键目的是，确认重要的商业问题都得到充分考虑。
6）准备工作
模型完成后，由模型使用者（客户）根据当时的背景和目标完成情况，决定如何在现场使用模型。
二、SEMMA方法论
除了CRISP-DM方法论，SAS公司还提出了SEMMA方法论。其与CRISP-DM方法论内容十分相似，流程为定义业务问题、环境评估、数据准备、循环往复的挖掘过程、上线发布、检视。其中循环往复的挖掘过程包含探索、修改、建模、评估和抽样5个步骤。
1）抽样
该步骤涉及数据采集、数据合并与抽样操作，目的是构造分析时用到的数据。分析人员将根据维度分析获得的结果作为分析的依据，将散落在公司内部与外部的数据进行整合。数字化转型网www.szhzxw.cn
2）探索
这个步骤有两个任务，第一个是对数据质量的探索。
变量质量方面涉及错误值（年龄=-30）、不恰当（客户的某些业务指标为缺失值，实际上是没有这个业务，值应该为“0”）、缺失值（没有客户的收入信息）、不一致（收入单位为人民币，而支出单位为美元）、不平稳（某些数据的均值变化过于剧烈）、重复（相同的交易被记录两次）和不及时（银行客户的财务数据更新滞后）等。
探索步骤主要解决错误的变量是否可以修改、是否可以使用的问题。比如，缺失值很多，平稳性、及时性很差的变量不能用于后续的数据分析，而缺失值较少的变量需要进行缺失值填补。
第二个是对变量分布形态的探索。
对变量分布形态的探索主要是对变量偏态和极端值进行探索。由于后续的统计分析大多是使用参数统计方法，这要求连续变量最好是对称分布的，这就需要我们了解每个连续变量的分布情况，并制定好变量修改的方案。
3）修改
根据变量探索的结论，对数据质量问题和分布问题涉及的变量分别做修改。数据质量问题涉及的修改包括错误编码改正、缺失值填补、单位统一等操作。变量分布问题涉及的修改包括函数转换和标准化，具体的修改方法需要与后续的统计建模方法相结合。数字化转型网www.szhzxw.cn
4）建模
根据分析的目的选取合适的模型，这部分内容在1.3节已经做了详细的阐述，这里不再赘述。
5）评估
这里指模型的样本内验证，即使用历史数据对模型表现的优劣进行评估。比如，对有监督学习使用ROC曲线和提升度等技术指标评估模型的预测能力。
声明：本文来自网络，版权归作者所有。文章内容仅代表作者独立观点，不代表数字化转型网立场，转载目的在于传递更多信息。如有侵权，请联系我们。数字化转型网www.szhzxw.cn
数字化转型网数据专题包含哪些内容
数字化转型网数据专题将关注数据治理、数据质量管理、数据架构、主数据管理、数据仓库、元数据管理、数据备份、数据挖掘、数据分析、数据安全、大数据、数据合规、等数据相关全产业链相关环节。
数字化转型网数据专题包含： 数字化转型网（www.szhzxw.cn）
1、数据相关外脑支持：100+数据相关专家、100+数据实践者、1000+相关资料
2、数据研习社：与全球数据相关专家、实践者共同探讨相关问题，推动产业发展！
3、国际认证培训：目前已引进DAMA国际认证CDMP，其他国内外认证也在逐步引进中
4、典型案例参考：与数字化转型网数据要素X研习社社员一起学习典型案例，共探企业数据落地应用
本文由数字化转型网（www.szhzxw.cn）转载而成，来源于生信学长；编辑/翻译：数字化转型网Jack。
数字化转型网数据专题将关注数据治理、数据质量管理、数据架构、主数据管理、数据仓库、元数据管理、数据备份、数据挖掘、数据分析、数据安全、大数据、数据合规、等数据相关全产业链相关环节。
声明：本文来自网络，版权归作者所有。文章内容仅代表作者独立观点，不代表数字化转型网立场，转载目的在于传递更多信息。如有侵权，请联系我们。数字化转型网www.szhzxw.cn
数字化转型网数据专题包含哪些内容
数字化转型网数据专题将关注数据治理、数据质量管理、数据架构、主数据管理、数据仓库、元数据管理、数据备份、数据挖掘、数据分析、数据安全、大数据、数据合规、等数据相关全产业链相关环节。
数字化转型网数据专题包含： 数字化转型网（www.szhzxw.cn）
1、数据相关外脑支持：100+数据相关专家、100+数据实践者、1000+相关资料
2、数据研习社：与全球数据相关专家、实践者共同探讨相关问题，推动产业发展！
3、国际认证培训：目前已引进DAMA国际认证CDMP，其他国内外认证也在逐步引进中
4、典型案例参考：与数字化转型网数据要素X研习社社员一起学习典型案例，共探企业数据落地应用
本文由数字化转型网（www.szhzxw.cn）转载而成，来源于大数据DT ；编辑/翻译：数字化转型网Jack。
