数字化转型网数据专题将关注数据治理、数据质量管理、数据架构、主数据管理、数据仓库、元数据管理、数据备份、数据挖掘、数据分析、数据安全、大数据、数据合规、等数据相关全产业链相关环节。
在之前的很多文章中我们都有谈到怎么样搭建数据仓库，离线数仓等，今天我们来聊聊数据仓库的本质：
一、数据仓库的本质
其实很多企业做数据仓库的时候，都忽略了数仓与BI、数据库的差异，只去搞底层数据，不去做数据服务和应用，其实就是把数据仓库给狭义化了。
其实数据仓库可以看成是BI的基础版本、数据库的升级版本，我们可以把公司里的数据都想象成一个个文件夹，数据库就是这一个个文件柜，这个文件柜存放着非常多的数据，无论这个数据是什么、或者是如何组织的。数字化转型网www.szhzxw.cn
而当文件非常多、种类非常复杂，我们想要寻找某一个文件夹的时候，如果每个文件柜每个文件柜的去找，实际上是非常低效并且非常耗费成本的，因此建立一个档案室，对不同的文件柜进行编号、归类、分组，这就能极大程度上方便我们对数据源进行快速定位。这个档案室就是数据仓库。
我们需要更为庞大的数据仓库，帮助我们去抓取多个数据源的数据库数据，而抓取数据源的过程就可以理解为ETL（extract, transform, load) 的工作，这样去理解一个企业的数据架构就会简单很多。
因此数据仓库的本质，其实就是整合多个数据源的历史数据进行细粒度的、多维的分析，帮助高层管理者或者业务分析人员做出商业战略决策或商业报表。
二、数据仓库的架构
简单来说数据仓库的架构分为四个层次：
ODS层：存放原始数据，直接加载原始日志、数据，数据保存原貌不做处理。
DWD层：结构与粒度原始表保持一致，对ODS层数据进行清洗数字化转型网www.szhzxw.cn
DWS层：以DWD为基础，进行轻度汇总
ADS层：为各种统计报表提供数据
这里要注意数据仓库的架构当中，各个系统的元数据通过ETL同步到操作性数据仓库ODS中，对ODS数据进行面向主题域建模形成DW（数据仓库），DM是针对某一个业务领域建立模型，具体用户（决策层）查看DM生成的报表。
也就是说，我们所看到的数据不是直接从数据底层抽取的，相当于我们访问数据仓库的时候，是让图书管理员帮你找一个文件柜，那么怎么更高效地去找，就是数据仓库建设中很重要的一部分工作——数据建模，包括数据的存储模型、逻辑模型、概念模型等等。数字化转型网www.szhzxw.cn
这里举个例子：
以最常见的制造业为例，底下不同分厂的信息系统厂商各不相同，这就导致数据仓库中可能有来自前端系统（供应商、招标系统等）、MES系统（不同分厂的MES）、业务系统（不同分厂的CRM、OA、SAP系统等）的数据，因此导致系统中数据结构、数据标准、流程流转方式都存在差异。
再具体点说，例如在统计良率、OEE的时候，各厂按各自的方法进行统计然后汇报给领导，但由于各厂的数据过于分散，没有统一的计算标准，所以对良率的计算逻辑也不同，导致指标口径不一致，无法统一管理指标数据，这个数据也就失去了参考价值，到头来白忙活一场。
而这种时候，我们通常的解决方法是：实现数据中心化，逻辑统一化。
从众多跨地域的业务系统通过实时同步增量方式，将分散在各处的数据，汇聚到统一的数据中心，从业务数据库中原表原样取出数据，形成数据仓库的ODS层，为后续加工提供原始材料。
三、数据仓库搭建好处
搭建数据仓库（Data Warehouse）解决数据分析和管理中的一系列问题，带来了一系列好处，主要包括：
1.数据集成：组织中的数据通常分散在不同的来源和系统中，如关系型数据库、文件系统、云存储等。数据仓库提供了一个集中的存储位置，允许将这些分散的数据集成到一个统一的环境中。
2.数据清洗和转换：原始数据可能包含错误、重复或不一致的信息。数据仓库在存储数据之前，通常会进行清洗和转换，以确保数据的质量。数字化转型网www.szhzxw.cn
3.数据模型优化：数据仓库中的数据通常按照特定的业务需求进行组织和建模，这有助于提高查询性能，并简化数据分析和报告的过程。
4.查询和报告：数据仓库提供了高效的查询工具和预定义的报告，帮助用户快速获取业务洞察和做出决策。
5.历史数据存储：数据仓库能够存储历史数据，支持时间序列分析，这对于趋势分析和预测建模非常重要。
6.数据的多维分析：数据仓库支持多维数据模型，允许用户从不同的角度和维度对数据进行分析，这在传统的关系型数据库中往往难以实现。
7.数据的可扩展性：随着数据量的增长，数据仓库可以水平扩展，以处理更大的数据集。
8.数据的安全性和访问控制：数据仓库提供了数据安全和访问控制机制，确保敏感数据的安全性和合规性。
9.提高决策效率：通过集中的数据存储和高效的数据分析工具，数据仓库能够帮助决策者更快地获取关键信息，提高决策效率。数字化转型网www.szhzxw.cn
10.支持复杂的数据分析：数据仓库可以集成高级分析工具和算法，支持复杂的数据分析和机器学习任务。
11.降低数据管理成本：通过集中管理数据，数据仓库有助于降低数据冗余和数据管理的总体成本。
总的来说，数据仓库是为了提供一个结构化的环境，以便更好地管理和分析数据，支持组织的业务决策和战略规划。
数仓搭建过程中的数据编排能力：多样化算子和多种任务调度方式，提供多样化异构数据处理能力；在标准化的要求下，通过各系统原始的指标定义，形成统一的数据处理逻辑，再行内部数据转换，完成对异构数据的梳理，进行ODS>DW>DM层的数据逐层编排，最后形成统一逻辑的数据输出，以供企业进行统一管理。
ODS层：数据存储：本层数据，一般会按照来源业务系统的分类方式而进行分类，在ODS数据存储层中，我们不会对数据模型进行修改，会维持原有的数据模型不变。
DW: 是数据仓库的主体。DW层将ODS层中获得的数据按照主题建立各种数据模型。
DM层：数据集市或宽表。DM层为面向最终应用的主题层，一般依据前端报表/业务包需求进行设计，所以DM层表不需要考虑复用，每一张DM表仅为一张报表所服务数字化转型网www.szhzxw.cn
总而言之，在数字化时代下，大数据治理对企业数据建设的重要性不言而喻，然而实现的困难有时也让人望而却步，因此选择合适的技术和工具会达到事半功倍的效果。
声明：本文来自网络，版权归作者所有。文章内容仅代表作者独立观点，不代表数字化转型网立场，转载目的在于传递更多信息。如有侵权，请联系我们。数字化转型网www.szhzxw.cn
数字化转型网数据专题包含哪些内容
数字化转型网数据专题将关注数据治理、数据质量管理、数据架构、主数据管理、数据仓库、元数据管理、数据备份、数据挖掘、数据分析、数据安全、大数据、数据合规、等数据相关全产业链相关环节。
数字化转型网数据专题包含： 数字化转型网（www.szhzxw.cn）
1、数据相关外脑支持：100+数据相关专家、100+数据实践者、1000+相关资料
2、数据研习社：与全球数据相关专家、实践者共同探讨相关问题，推动产业发展！
3、国际认证培训：目前已引进DAMA国际认证CDMP，其他国内外认证也在逐步引进中
4、典型案例参考：与数字化转型网数据要素X研习社社员一起学习典型案例，共探企业数据落地应用
本文由数字化转型网（www.szhzxw.cn）转载而成，来源于 数据集成与治理；编辑/翻译：数字化转型网Jack。
