ETL 是什么？

一、ETL是什么？

ETL（数据抽取、转换、加载）是把业务系统数据抽取清洗转换后加载进数据仓库或数据湖的过程，核心内容包括多源数据抽取、缺失值与异常值清洗、口径统一转换、目标存储加载与任务调度。它解决的是多源数据口径不一、可用性低的问题，并不解决源系统录入的真实性问题。

二、ETL包含哪些模块？

· 数据抽取模块：从多种数据源抽取数据。

· 数据清洗模块：处理缺失值、异常值。

· 数据转换模块：统一数据格式与口径。

· 数据加载模块：将数据写入目标存储。

· 调度与监控：管理ETL任务调度与异常告警。

三、ETL的发展历程

ETL概念1990年代随数据仓库理论兴起而发展。2000年后Informatica、Talend等专业ETL工具涌现。2010年后随着大数据发展，ELT（先加载后转换）模式兴起。当前ETL与云数仓、低代码深度结合。

四、为什么企业需要ETL？

· 保障数据质量：通过清洗与转换提升数据可用性。

· 整合多源数据：通过统一抽取打破数据孤岛。

· 支撑数据分析：为下游分析提供高质量数据基础。