数字化转型网数据专题将关注数据治理、数据质量管理、数据架构、主数据管理、数据仓库、元数据管理、数据备份、数据挖掘、数据分析、数据安全、大数据、数据合规、等数据相关全产业链相关环节。
常用任务调度系统
提到常用的任务调度系统，大家都会想到非常多，包括但不限于：Crontab、Apache Airflow、Oozie、Azkaban、Kettle、XXL-JOB、Apache DolphinScheduler、SeaTunnel等，五花八门。
专家观点：
Apache DolphinScheduler（海豚调度）更专注于大数据场景，调度功能不复杂，但是足够把任务管理起来。并且它是中文的，这一点对于中文用户较友好。
Apache Airflow国外用的多。
资源调度系统
资源调度系统主要包括Yarn和Azkaban。Yarn用的广泛，上层很多组件都要支持，所以很受欢迎，对其优化很多。
Azkaban是资源调度的小众分支，用的人不多。
大数据查询
大数据查询引擎
常用的OLAP引擎对比：
专家观点：专家之一曾经用Presto和StarRocks做过对比Impala的性能测试，结论如下：
结果上看StarRocks的性能确实很强大，速度最快，但三者对比提升相同量级的性能需要更多的CPU、内存资源等；数字化转型网www.szhzxw.cn
Impala在开启各项优化之后，效果是可以接近StarRocks的；
Presto性能一般，而且发现跑部分TPC-DS测试时，调用HMS API的频率偶尔很高，曾经把HMS搞挂过。但是Presto的易用性感觉最好，差不多就是开箱即用，配置很简单。支持多源数据（多Catalog）的接入，但是随着数据湖对底层数仓存储层的统一加上各个。其他高效分析引擎对数据湖的支持，这块的优势也会被逐步抹平。
专家对查询引擎优化的观点：
查询引擎优化在大数据平台架构只算一环，不算难点，但确实很重要。整个大数据生态的上下游优化应该是逐步协同进行的，查询引擎上游的数据是需要下功夫治理的，不然Impala遇到比如小文件问题是很拖累性能的；查询引擎下游需要一个合适的平台作为数据的展示窗口，比如BI工具，或用协议比较通用的客户端，像支持MySQL协议的SR和Doris这些，如果下游没法做比较好的数据展示，查询引擎再牛也没法让大家用起来。
声明：本文来自网络，版权归作者所有。文章内容仅代表作者独立观点，不代表数字化转型网立场，转载目的在于传递更多信息。如有侵权，请联系我们。数字化转型网www.szhzxw.cn
数字化转型网数据专题包含哪些内容
数字化转型网数据专题将关注数据治理、数据质量管理、数据架构、主数据管理、数据仓库、元数据管理、数据备份、数据挖掘、数据分析、数据安全、大数据、数据合规、等数据相关全产业链相关环节。
数字化转型网数据专题包含： 数字化转型网（www.szhzxw.cn）
1、数据相关外脑支持：100+数据相关专家、100+数据实践者、1000+相关资料
2、数据研习社：与全球数据相关专家、实践者共同探讨相关问题，推动产业发展！
3、国际认证培训：目前已引进DAMA国际认证CDMP，其他国内外认证也在逐步引进中
4、典型案例参考：与数字化转型网数据要素X研习社社员一起学习典型案例，共探企业数据落地应用
本文由数字化转型网（www.szhzxw.cn）转载而成，来源于五分钟学大数据；编辑/翻译：数字化转型网Jack。
