数字化转型网数据专题将关注数据治理、数据质量管理、数据架构、主数据管理、数据仓库、元数据管理、数据备份、数据挖掘、数据分析、数据安全、大数据、数据合规、等数据相关全产业链相关环节。
根据数据源不同，数据仓库ETL工具可分为结构化数据ETL工具和非结构化/半结构化数据ETL工具。
1. 结构化数据ETL工具
Sqoop：大数据领域很常见的一种ETL工具，主要职责是把结构化数据库提供JDBC连接上去之后进行数据抽取，使用并发处理的形式批量导入到大数据的数据仓库中。缺点是对国外的主流关系型数据库支持性更好，而且2.X版本改造后性能下降。
Kettle：一个传统的可视化ETL工具，开源免费。缺点是面对特别复杂的业务逻辑，受制于组件的使用情况。
Datastage：IBM公司开发的一款ETL工具，具有良好的跨平台性和数据集成能力，提供了可视化的ETL操作界面。缺点是价格远高于其他的ETL工具，而且需要占用较高的系统资源和硬盘空间。
Informatica：一款易于配置和管理，能够快速实现ETL任务的ETL工具。缺点和Flume一样，价格高，占用空间大。
Kafka：一个分布式流处理平台，也可以用作ETL工具，具有高吞吐量和低延迟性，但是开发和使用成本较高。而且Kafka的使用场景主要是数据流处理领域，不适合复杂的数据清洗和转换操作
2. 非结构化/半结构化数据ETL工具
Flume：支持数据监控，在大数据平台上部署简单，亿级以上大数据同步性能较好。缺点是没有可视化界面，只能通过后台命令操作，并且不支持扩展开发，功能少，不支持数据清洗处理。
FineDataLink：帆软推出的一款可视化ETL工具，具有ETL和ELT两种数据处理方式，操作简单，功能丰富，支持三十多种格式和结构的异构数据源。至于FineDataLink支持哪些数据源，又有哪些应用场景，在明天的文章里会告诉大家~
Logstash：一个开源的ETL工具，主要用于数据采集和转换。支持插件式架构、多个数据格式和编码。缺点是存在性能问题，不适合处理大量数据。而且配置复杂，不易于维护。
数字化转型网数据专题包含哪些内容
数字化转型网数据专题将关注数据治理、数据质量管理、数据架构、主数据管理、数据仓库、元数据管理、数据备份、数据挖掘、数据分析、数据安全、大数据、数据合规、等数据相关全产业链相关环节。
数字化转型网数据专题包含：
1、数据相关外脑支持：100+数据相关专家、100+数据实践者、1000+相关资料
2、数据研习社：与全球数据相关专家、实践者共同探讨相关问题，推动产业发展！
3、国际认证培训：目前已引进DAMA国际认证CDMP，其他国内外认证也在逐步引进中
4、典型案例参考：与数字化转型网数据要素X研习社社员一起学习典型案例，共探企业数据落地应用
