如何采集到对应的数据？

数字化转型网数据专题将关注数据治理、数据质量管理、数据架构、主数据管理、数据仓库、元数据管理、数据备份、数据挖掘、数据分析、数据安全、大数据、数据合规、等数据相关全产业链相关环节。

有一则这样的新闻：看到感兴趣的就点“赞”已成为微博、微信、网站流行的互动方式。而当你点“赞”时,可能已经将自己的隐私暴露了。越来越多研究者通过网络检索词和社交网站信息研究人类活动，基于”赞一个”的数据可作出非常精密而个体化的预测，精度堪比个人测试。”点赞党”小心咯！（扬子晚报）

这里说的就是网民在网上的一举一动，都成为数据采集的对象。如何采集到对应数据？采集数据的方式很多种，有直接从现成的数据库中检索数据。也有甚至只能人工去一个个记录的数据。

相信很多人在网上看到过一些叫卖所谓“阿里巴巴老板手机号”之类数据的，这种数据就是通过WEB访问的技术手段，从阿里巴巴等网站上把企业联系人的信息扒下来的。因为阿里巴巴网站上的每家企业联系的信息都是可以让别人访问的。于是通过这种访问，用技术手段把这些具有联系人、公司名、电话、手机号码等采集下来，这种可以找到数百万乃至上千万用户信息数据就是很轻松的事情。不过这种只能叫采集。

我们最近做了一件事，即通过采集分析，找出了数千万微信和手机号的对应关系。有人说，你这是不是黑客去腾讯数据库扒的，我说如果是黑客，那就不是几千万而是几亿资料了。数字化转型网www.szhzxw.cn

这里简单介绍一个方法，这种就可以获取一部分这种对应关系。先通过阿里巴巴等网站找出一大批用户的公司名、职位、姓名、手机号等，然后通过新浪微博采集到一大批认证用户在微博上分享微信号。把两者的姓名、单位对比，显然我们就能够找出一批微信和手机号的对应关系。这种就是采集加上简单的分析，大致上可以获得数万个对应关系。当然还有其他更加复杂的方法，这里就不一一细说了。

特别强调的是，这种采集也是合法的，因为我采集的是你网友自己公开发布的信息，而且只要我不买卖你个人的信息，法律上就没问题，你总不能说我从阿里巴巴等上面抄一堆联系人信息有啥问题吧？

大家可以看看我们对新浪微博的采集系统。我们的采集系统是分布式的，这样是为了防范被网站屏蔽。我们使用了100个IP节点通过web向新浪微博请求数据，每一个IP节点可以使用3-5个微博账号，每个账号可以关注约2000名新浪用户，也就是说这100个IP节点上有300-500个微博账号，通过他们实时关注了60万-100万新浪用户。这60-100万新浪用户随时发布的微博，都会被我们的系统采集，写入本地数据库。正在建设的分布式数据采集系统，完工后可以24小时监控1000万新浪微博账号，然后通过自己开发的网民行为模型对各种状态作出数据分析。通过对微博ID的微博行为特征分析，可以扒出这个人的生存状态、日常爱好、消费习惯、朋友关系等，甚至还有他真正的自我。

声明：本文来自网络，版权归作者所有。文章内容仅代表作者独立观点，不代表数字化转型网立场，转载目的在于传递更多信息。如有侵权，请联系我们。数字化转型网www.szhzxw.cn

数字化转型网数据专题包含哪些内容

数字化转型网数据专题包含：数字化转型网（www.szhzxw.cn）

1、数据相关外脑支持：100+数据相关专家、100+数据实践者、1000+相关资料

2、数据研习社：与全球数据相关专家、实践者共同探讨相关问题，推动产业发展！

3、国际认证培训：目前已引进DAMA国际认证CDMP，其他国内外认证也在逐步引进中

4、典型案例参考：与数字化转型网数据要素X研习社社员一起学习典型案例，共探企业数据落地应用