数字化转型网数据专题将关注数据治理、数据质量管理、数据架构、主数据管理、数据仓库、元数据管理、数据备份、数据挖掘、数据分析、数据安全、大数据、数据合规、等数据相关全产业链相关环节。
一、距离（相似度）度量
距离度量可用于在数据挖掘中明确样本数据相似度，通常可以计算样本间的距离，如下为常用距离度量的介绍。
样本数据以如下三个人的身高体重示例：
曼哈顿距离： 也称曼哈顿街区距离，就如从街区的一个十字路口点到另一个十字路口点的距离， 二维空间（多维空间按同理扩展）用公式表示为数字化转型网www.szhzxw.cn
欧氏距离：表示为点到点的距离。二维空间（多维空间按同理扩展）的公式表示为
闵可夫斯基距离：其实就是距离方法的通用概括，当 p=1 既是曼哈顿距离，当 p=2 既是欧氏距离。当p越大，单一维度的差值对整体的影响就越大。
余弦相关系数：
样本数据视为向量，通过两向量间的夹角余弦值确认相关性，数值范围[-1，1]。-1表示负相关，0表示无关，1表示正相关。
余弦相关系数的优缺点：
优点：余弦相似度与向量的幅值无关，只与向量的方向相关，在文档相似度（TF-IDF）和图片相似性（histogram）计算上都有它的身影；而且在样本数值稀疏的时候仍可以使用。
缺点：余弦相似度受到向量的平移影响，上式如果将 x 平移到 x+1, 余弦值就会改变。(可以理解为受样本的起始标准的影响，接下来介绍的皮尔逊相关系数可以消除这个影响)
皮尔逊相关系数：
计算出了样本向量间的相关性，数值范围[-1，1]。数字化转型网www.szhzxw.cn
考虑计算的遍历的次数，有一个替代公式可以近似计算皮尔逊相关系数：
皮尔逊相关系数优点：可消除每个分量标准不同（分数膨胀）的影响，具有平移不变性和尺度不变性。
二、 数据标准化
数据中如果各分量的单位尺度差异很大，可以使用数据标准化消除不同分量间单位尺度的影响，，加速模型收敛的效率，常用的方法有三种：
min-max 标准化：将数值范围缩放到（0,1）,但没有改变数据分布。max为样本最大值，min为样本最小值。数字化转型网www.szhzxw.cn
z-score 标准化：将数值范围缩放到0附近, 经过处理的数据符合标准正态分布。u是平均值，σ是标准差。
修正的标准z-score：修正后可以减少样本数据异常值的影响。将z-score标准化公式中的均值改为中位数，将标准差改为绝对偏差。
其中asd绝对偏差：u为中位数，card(x)为样本个数
三、算法的效果评估方法
十折交叉验证：将数据集随机分成十份，每次使用九份进行训练，剩余一份进行测试，这个过程重复十次，确保每份数据都至少被使用过一次作为测试集。关键在于保证数据集被均匀地分成十份。
N折交叉验证：又称为留一法，它利用几乎所有的数据来进行训练，然后留出一份数据进行测试。这个过程会迭代进行，确保每一份数据都被用作过测试集。数字化转型网www.szhzxw.cn
训练-测试划分验证：随机将数据集划分为训练集和验证集，用于评估模型的性能。
声明：本文来自网络，版权归作者所有。文章内容仅代表作者独立观点，不代表数字化转型网立场，转载目的在于传递更多信息。如有侵权，请联系我们。数字化转型网www.szhzxw.cn
数字化转型网数据专题包含哪些内容
数字化转型网数据专题将关注数据治理、数据质量管理、数据架构、主数据管理、数据仓库、元数据管理、数据备份、数据挖掘、数据分析、数据安全、大数据、数据合规、等数据相关全产业链相关环节。
数字化转型网数据专题包含： 数字化转型网（www.szhzxw.cn）
1、数据相关外脑支持：100+数据相关专家、100+数据实践者、1000+相关资料
2、数据研习社：与全球数据相关专家、实践者共同探讨相关问题，推动产业发展！
3、国际认证培训：目前已引进DAMA国际认证CDMP，其他国内外认证也在逐步引进中
4、典型案例参考：与数字化转型网数据要素X研习社社员一起学习典型案例，共探企业数据落地应用
本文由数字化转型网（www.szhzxw.cn）转载而成，来源于 Python人工智能前沿；编辑/翻译：数字化转型网Jack。
