数字化转型网数据专题将关注数据治理、数据质量管理、数据架构、主数据管理、数据仓库、元数据管理、数据备份、数据挖掘、数据分析、数据安全、大数据、数据合规、等数据相关全产业链相关环节。
页面下载 –> 页面解析 –> 数据存储
（1）页面下载器
对于下载器而言，python的库requests能满足大部分测试+抓取需求，进阶工程化scrapy，动态网页优先找API接口，如果有简单加密就破解，实在困难就使用splash渲染。
（2）页面解析器数字化转型网www.szhzxw.cn
①BeautifulSoup(入门级)：Python爬虫入门BeautifulSoup模块
②pyquery（类似jQuery）：Python爬虫：pyquery模块解析网页
③lxml：Python爬虫：使用lxml解析网页内容
④parsel：Extract text using CSS or XPath selectors
⑤scrapy的Selector (强烈推荐, 比较高级的封装，基于parsel)
⑥选择器(Selectors)：python爬虫：scrapy框架xpath和css选择器语法
———————
总结：
解析器直接使用scrapy的Selector 就行，简单、直接、高效。
（3）数据存储数字化转型网www.szhzxw.cn
①txt文本：Python全栈之路：文件file常用操作
②csv文件：python读取写入csv文件
③sqlite3 （python自带）：Python编程：使用数据库sqlite3
④MySQL：SQL：pymysql模块读写mysql数据
⑤MongoDB：Python编程：mongodb的基本增删改查操作
———————
总结：
数据存储没有什么可深究的，按照业务需求来就行，一般快速测试使用MongoDB，业务使用MySQL
（4）其他工具
①execjs ：执行js
Python爬虫：execjs在python中运行javascript代码
②pyv8: 执行js
mac安装pyv8模块-JavaScript翻译成python
③html5lib
Python爬虫：scrapy利用html5lib解析不规范的html文本
声明：本文来自CTO老王，版权归作者所有。文章内容仅代表作者独立观点，不代表数字化转型网立场，转载目的在于传递更多信息。如有侵权，请联系我们。数字化转型网www.szhzxw.cn
数字化转型网数据专题包含哪些内容
数字化转型网数据专题将关注数据治理、数据质量管理、数据架构、主数据管理、数据仓库、元数据管理、数据备份、数据挖掘、数据分析、数据安全、大数据、数据合规、等数据相关全产业链相关环节。
数字化转型网数据专题包含： 数字化转型网（www.szhzxw.cn）
1、数据相关外脑支持：100+数据相关专家、100+数据实践者、1000+相关资料
2、数据研习社：与全球数据相关专家、实践者共同探讨相关问题，推动产业发展！
3、国际认证培训：目前已引进DAMA国际认证CDMP，其他国内外认证也在逐步引进中
4、典型案例参考：与数字化转型网数据要素X研习社社员一起学习典型案例，共探企业数据落地应用
本文由数字化转型网（www.szhzxw.cn）转载而成，来源于CTO老王；编辑/翻译：数字化转型网萍水。
