数字化转型网数据专题将关注数据治理、数据质量管理、数据架构、主数据管理、数据仓库、元数据管理、数据备份、数据挖掘、数据分析、数据安全、大数据、数据合规、等数据相关全产业链相关环节。
以我们在拉勾教育做数据挖掘为例。为了保持内容的独创性，以吸引更多的用户购买，总编希望作者写的东西能够与一些主流网站上的内容存在一些差异，如果说每写一篇稿子，就让运营挨家挨户地去对比，那一定是费时费力，并且对比的效果很差，因为运营也没办法把那么多内容都看一遍，于是总编向我们发起了一个需求：比对作者写的文章与主流网站的文章是否存在一定的独创性。
我们收到了需求，接下来就要摩拳擦掌准备开始工作了。但是不要心急，这里说的工作可不是立马上手分析数据、写代码。作为一个合格的数据挖掘工程师，第一步我们需要理解业务，把业务逻辑搞明白。
需求有了，但是这个需求貌似并不明确。首先怎么定义文章具有独创性，这并不是通过技术手段可以量化的指标，我们就需要与总编沟通，确定如果两篇文章的相似度低于 5% 就认为是有独创性的。
之后我们可以把这个问题定义为一种文本抄袭检测，但是这个文本抄袭检测与一般的文本抄袭检测是否又有一些区别呢？比如说我们需要检测的是独创性，那么我们对比的粒度是否需要比较细；某些重点的文本是否需要一定不相同；一些引用和概念性介绍是否需要刨除；对于同一个作者的内容该如何处理等等。这些业务独特的需求我们也需要了解清楚，才能方便我们后面的处理。数字化转型网www.szhzxw.cn
理解业务看起来很虚，但是却是非常重要的环节，不要觉得理解业务是浪费时间的事情，认识清楚我们要完成的业务目标，能够为我们后面的提升效率、优化效果带来非常大的帮助。反之，如果你还没搞清楚业务的细节就上手开发，很可能所做的结果与业务的需求存在偏差，这时候就浪费了更多的时间，严重的还会给公司带来很大损失。
声明：本文来自网络，版权归作者所有。文章内容仅代表作者独立观点，不代表数字化转型网立场，转载目的在于传递更多信息。如有侵权，请联系我们。数字化转型网www.szhzxw.cn
数字化转型网数据专题包含哪些内容
数字化转型网数据专题将关注数据治理、数据质量管理、数据架构、主数据管理、数据仓库、元数据管理、数据备份、数据挖掘、数据分析、数据安全、大数据、数据合规、等数据相关全产业链相关环节。
数字化转型网数据专题包含： 数字化转型网（www.szhzxw.cn）
1、数据相关外脑支持：100+数据相关专家、100+数据实践者、1000+相关资料
2、数据研习社：与全球数据相关专家、实践者共同探讨相关问题，推动产业发展！
3、国际认证培训：目前已引进DAMA国际认证CDMP，其他国内外认证也在逐步引进中
4、典型案例参考：与数字化转型网数据要素X研习社社员一起学习典型案例，共探企业数据落地应用
本文由数字化转型网（www.szhzxw.cn）转载而成，来源于Coder陈；编辑/翻译：数字化转型网Jack。
