数字化转型网数据专题将关注数据治理、数据质量管理、数据架构、主数据管理、数据仓库、元数据管理、数据备份、数据挖掘、数据分析、数据安全、大数据、数据合规、等数据相关全产业链相关环节。
一、数据采集工具
1、针对日志文件类
| 工具 | 定义 |
| Logstash | Logstash是一个开源数据收集引擎，具有实时管道功能。Logstash可以动态地将来自不同数据源的数据统一起来，并将数据标准化到所选择的目的地。 |
| Filebeat | Filebeat 作为一个轻量级的日志传输工具可以将日志推送到中心 Logstash。 |
| Fluentd | Fluentd 创建的初衷主要是尽可能的使用 JSON 作为日志输出，所以传输工具及其下游的传输线不需要猜测子字符串里面各个字段的类型。这样，它为几乎所有的语言都提供库，即可以将它插入到自定义的程序中。 |
| Logagent | Logagent 是 Sematext 提供的传输工具，它用来将日志传输到 Logsene(一个基于 SaaS 平台的 Elasticsearch API)。 |
| Rsylog | 绝大多数 Linux 发布版本默认的守护进程，rsyslog 读取并写入 /var/log/messages 。它可以提取文件、解析、缓冲(磁盘和内存)以及将它们传输到多个目的地，包括 Elasticsearch 。可以从此处找到如何处理 Apache 以及系统日志。 |
| Logtail | 阿里云日志服务的生产者，目前在阿里集团内部机器上运行，经过3年多时间的考验，目前为阿里公有云用户提供日志收集服务。 |
2、针对爬虫类
页面下载 –> 页面解析 –> 数据存储
（1）页面下载器
对于下载器而言，python的库requests能满足大部分测试+抓取需求，进阶工程化scrapy，动态网页优先找API接口，如果有简单加密就破解，实在困难就使用splash渲染。
（2）页面解析器
①BeautifulSoup(入门级)：Python爬虫入门BeautifulSoup模块
②pyquery（类似jQuery）：Python爬虫：pyquery模块解析网页
③lxml：Python爬虫：使用lxml解析网页内容数字化转型网www.szhzxw.cn
④parsel：Extract text using CSS or XPath selectors
⑤scrapy的Selector (强烈推荐, 比较高级的封装，基于parsel)
⑥选择器(Selectors)：python爬虫：scrapy框架xpath和css选择器语法
———————
总结：
解析器直接使用scrapy的Selector 就行，简单、直接、高效。
（3）数据存储
①txt文本：Python全栈之路：文件file常用操作
②csv文件：python读取写入csv文件
③sqlite3 （python自带）：Python编程：使用数据库sqlite3
④MySQL：SQL：pymysql模块读写mysql数据
⑤MongoDB：Python编程：mongodb的基本增删改查操作
———————
总结：
数据存储没有什么可深究的，按照业务需求来就行，一般快速测试使用MongoDB，业务使用MySQL
（4）其他工具
①execjs ：执行js
Python爬虫：execjs在python中运行javascript代码数字化转型网www.szhzxw.cn
②pyv8: 执行js
mac安装pyv8模块-JavaScript翻译成python
③html5lib
Python爬虫：scrapy利用html5lib解析不规范的html文本
二、数据清洗工具
1、DataWrangler
基于网络的服务是斯坦福大学的可视化组设计来清洗和重排数据的.文本编辑非常简单。例如，当我选择大标题为“Reported crime in Alabama”的样本数据的某行的“Alabama”，然后选择另一组数据的“Alaska”，它会建议提取每州的名字。把鼠标停留在建议上，就可以看到用红色突出显示的行。
2、Google Refine
它可以导入导出多种格式的数据，如标签或逗号分隔的文本文件、Excel、XML和JSON文件。Refine设有内置算法，可以发现一些拼写不一样但实际上应分为一组的文本。导入你的数据后，选择编辑单元格->聚类，编辑，然后选择要用的算法。数据选项，提供快速简单的数据分布概貌。这个功能可以揭示那些可能由于输入错误导致的异常——例如，工资记录不是80,000美元而竟然是800,000美元;或指出不一致的地方——例如薪酬数据记录之间的差异，有的是计时工资，有的是每周支付，有的是年薪。除了数据管家功能，Google Refine还提供了一些有用的分析工具，例如排序和筛选。
3、Logstash
Logstash 是一款强大的数据处理工具，它可以实现数据传输，格式处理，格式化输出，还有强大的插件功能，常用于日志处理。数字化转型网www.szhzxw.cn
三、数据存储工具
数据存储主要分为结构化数据的存储和非结构化数据的存储。
1、结构化数据
（1）定义
一般指存储在数据库中，具有一定逻辑结构和物理结构的数据，最为常见的是存储在关系数据库中的数据；非结构化数据：一般指结构化数据以外的数据，这些数据不存储在数据库中，而是以各种类型的文本形式存放，其中Web上的一些数据(内嵌于HTML或XML标记中)又具有一定的逻辑结构和物理结构，被称为半结构数据。
（2）存储系统
目前比较成熟的结构化存储系统有Oracle、MySQL、Hadoop等。
2、非结构化数据
（1）定义
非结构化数据是数据结构不规则或不完整，没有预定义的数据模型，不方便用数据库二维逻辑表来表现的数据。包括所有格式的办公文档、文本、图片、XML, HTML、各类报表、图像和音频/视频信息等等。
（2）存储方式
1）使用文件系统存储文件，而在数据库中存储访问路径。这种方式的优点是实现简单，不需要DBMS的高级功能，但是这种方式无法实现文件的事务性访问，不便于数据备份和恢复，不便于数据迁移等；
2）使用阿里云OSS的文件存储功能。数字化转型网www.szhzxw.cn
四、数据计算工具
数据计算分为实时计算、在线计算、离线计算。
1、数据实时计算
Apache Storm
2、数据在线计算
Elasticsearch
MySQL
3、数据离线计算
HaDoop Hive
五、数据分析工具
1、对数据矩阵科学计算：Python的numpy库
2、对数据切片等常规处理：强大的pandas库数字化转型网www.szhzxw.cn
3、对数据建模处理：sklearn库
六、数据加载工具
1、数据的可视化处理：Python中的matplotlib和seaborn库
2、常用的BI可视化工具：Tableu和帆软
3、ECharts
声明：本文来自网络，版权归作者所有。文章内容仅代表作者独立观点，不代表数字化转型网立场，转载目的在于传递更多信息。如有侵权，请联系我们。数字化转型网www.szhzxw.cn
数字化转型网数据专题包含哪些内容
数字化转型网数据专题将关注数据治理、数据质量管理、数据架构、主数据管理、数据仓库、元数据管理、数据备份、数据挖掘、数据分析、数据安全、大数据、数据合规、等数据相关全产业链相关环节。
数字化转型网数据专题包含： 数字化转型网（www.szhzxw.cn）
1、数据相关外脑支持：100+数据相关专家、100+数据实践者、1000+相关资料
2、数据研习社：与全球数据相关专家、实践者共同探讨相关问题，推动产业发展！
3、国际认证培训：目前已引进DAMA国际认证CDMP，其他国内外认证也在逐步引进中
4、典型案例参考：与数字化转型网数据要素X研习社社员一起学习典型案例，共探企业数据落地应用
本文由数字化转型网（www.szhzxw.cn）转载而成，来源于生信学长；编辑/翻译：数字化转型网Jack。
数字化转型网数据专题将关注数据治理、数据质量管理、数据架构、主数据管理、数据仓库、元数据管理、数据备份、数据挖掘、数据分析、数据安全、大数据、数据合规、等数据相关全产业链相关环节。
声明：本文来自网络，版权归作者所有。文章内容仅代表作者独立观点，不代表数字化转型网立场，转载目的在于传递更多信息。如有侵权，请联系我们。数字化转型网www.szhzxw.cn
数字化转型网数据专题包含哪些内容
数字化转型网数据专题将关注数据治理、数据质量管理、数据架构、主数据管理、数据仓库、元数据管理、数据备份、数据挖掘、数据分析、数据安全、大数据、数据合规、等数据相关全产业链相关环节。
数字化转型网数据专题包含： 数字化转型网（www.szhzxw.cn）
1、数据相关外脑支持：100+数据相关专家、100+数据实践者、1000+相关资料
2、数据研习社：与全球数据相关专家、实践者共同探讨相关问题，推动产业发展！
3、国际认证培训：目前已引进DAMA国际认证CDMP，其他国内外认证也在逐步引进中
4、典型案例参考：与数字化转型网数据要素X研习社社员一起学习典型案例，共探企业数据落地应用
本文由数字化转型网（www.szhzxw.cn）转载而成，来源于 CTO老王；编辑/翻译：数字化转型网Jack。
