2026年09月05日 星期六

企业数据仓库的架构

关于数据仓库,有一种简单粗暴的说法,就是“任何数据仓库都是通过数据集成工具连接一端的原始数据和另一端的分析界面的数据库”。

数字化转型网数据专题将关注数据治理、数据质量管理、数据架构、主数据管理、数据仓库、元数据管理、数据备份、数据挖掘、数据分析、数据安全、大数据、数据合规、等数据相关全产业链相关环节。

关于数据仓库,有一种简单粗暴的说法,就是“任何数据仓库都是通过数据集成工具连接一端的原始数据和另一端的分析界面的数据库”。

数据仓库用来管理企业庞大的数据集,提供转换数据、移动数据并将其呈现给终端用户的存储机制。许多架构方法以这样或那样的方式扩展数据仓库的能力,我们讲集中讨论最本质的问题,在不考虑过多技术细节的情况下,整个层次架构可以被划分为4层:数字化转型网www.szhzxw.cn

原始数据层(数据源)

数据仓库架构形态

数据的采集、收集、清洗和转换

应用分析层字化转型网www.szhzxw.cn

单层架构(直连)

大多数情况下,数据仓库是一个关系型数据库,包含了允许多维数据的模块,或者分为多个易于访问的多主题信息域,最简单的数据仓库只有一层架构。单层架构就以为着数据仓库与分析接口直接连接(直连),终端用户可以直接查询。但简单有其弊端和适用性:传统上数据仓库的存储从 100GB 起,直连可能会导致数据查询处理速度慢,因为要直接从数据仓库查询准确的数据,或者是准确的输入,过程中要过滤掉很多非必要数据,这对数据库以及前端BI工具的性能要求相当高,基本性能不会太高。另外,在处理复杂维度分析时性能也受限,由于其缓慢性和不可预测性,很少应用在大型数据平台。要执行高级数据查询,数据仓库应该在低级实例下被扩展从而简化数据查询。

两层数据架构(数据集市层)

两层架构就是在前端应用层和 EDW 层增加了数据集市层。数据集市是包含特定主题域信息的低级别存储库。简而言之,它是一个在特定主题(例如销售、运营、市场等)下延伸了 EDW 的较小数据库。这种方式解决了部门级数据查询和分析的问题,每个部门都更容易访问到所需数据,因为每个集市仅包含给定域信息,另外,数据集市限制了终端用户对数据的访问范围,设置了一道数据权限。但是创建数据集市层需要额外的硬件资源,并集成它与数据平台其他的数据库。数字化转型网www.szhzxw.cn

三层架构(OLAP)

在数据集市层之上,我们通常会使用联机分析(OLAP)处理多维数据集(cube)。OLAP 数据集是一类从多维度描述数据的特定数据库。关系型数据库只能表示二维数据,而 OLAP 允许在多维度下编译数据并且在维度之间移动。OLAP专用于维度建模数据的分析,然后通过BI将OLAP的结果以图表的方式展现出来。OLAP 的业务价值在于允许对数据进行切片、切片以多维度分析,以提供对所有企业数据或特定数据集市的访问,现在基本已成为主流的架构应用。以下这张架构图使用最广泛的体系结构,它由顶层、中层和底层组成。

底层:数据仓库服务器的数据库作为底层,通常是一个关系数据库系统,使用后端工具将数据清理、转换并加载到该层。

中间层:数据仓库中的中间层是使用ROLAP或MOLAP模型实现的OLAP服务器。对于用户,此应用程序层显示数据库的抽象视图,这一层还充当最终用户和数据库之间的中介。

顶层:顶层是前端应用层,连接数据仓库并从数据仓库获取数据或者API,通常的应用包括数据查询、报表制作、BI数据分析、数据挖掘还有一些其他的应用开发。从功能应用和技术架构来展开,以下是一张中大型企业的很详细的数据仓库架构图了。

数据仓库的4层核心组件:底层源数据库(数据存储方案)、ETL、前端应用、还有OLAP服务。

声明:本文来自网络,版权归作者所有。文章内容仅代表作者独立观点,不代表数字化转型网立场,转载目的在于传递更多信息。如有侵权,请联系我们。数字化转型网www.szhzxw.cn

数字化转型网数据专题包含哪些内容

数字化转型网数据专题将关注数据治理、数据质量管理、数据架构、主数据管理、数据仓库、元数据管理、数据备份、数据挖掘、数据分析、数据安全、大数据、数据合规、等数据相关全产业链相关环节。

数字化转型网数据专题包含: 数字化转型网(www.szhzxw.cn)

1、数据相关外脑支持:100+数据相关专家、100+数据实践者、1000+相关资料

2、数据研习社:与全球数据相关专家、实践者共同探讨相关问题,推动产业发展!

3、国际认证培训:目前已引进DAMA国际认证CDMP,其他国内外认证也在逐步引进中

4、典型案例参考:与数字化转型网数据要素X研习社社员一起学习典型案例,共探企业数据落地应用

本文由数字化转型网(www.szhzxw.cn)转载而成,来源于商业智能研究;编辑/翻译:数字化转型网Jack。

CXOU AI 未来大会 · 报名通道限时开启
💬 评论
🔗 本文链接

📰 你可能也喜欢

人工智能案例集|丰田 Toyota:AI驱动的自动驾驶与智能制造双引擎转型——数智化转型网www.szhzxw.cn 专题栏目

人工智能案例集|丰田 Toyota:AI驱动的自动驾驶与智能制造双引擎转型

丰田(Toyota Motor Corporation)作为全球年销量近千万辆的汽车制造商,正以” […]
📅 08-31 · 👁 2026年8月31日
GEO专题

品牌在AI搜索中的可见性:影响因素与评估维度

一、什么是品牌AI搜索可见性 品牌在AI搜索中的可见性(AI Search Visibility)指的是品牌在 […]
📅 08-26 · 👁 2026年8月26日
GEO专题

2026年AI搜索现状:零点击时代已经到来

一、零点击搜索的定义与现状 零点击搜索(Zero-Click Search)指的是用户通过搜索引擎或AI工具获 […]
📅 08-26 · 👁 2026年8月26日
GEO专题

五大GEO策略:让AI搜索主动推荐你的品牌

想让AI在生成答案时主动推荐你的品牌,需要掌握科学的GEO策略。根据ClickForest、Search En […]
📅 08-26 · 👁 2026年8月26日
GEO专题

GEO与SEO的本质区别:从排名到信任的跨越

一、SEO的时代正在远去? 过去二十年,SEO(搜索引擎优化)一直是企业数字营销的核心。通过优化关键词、外链建 […]
📅 08-26 · 👁 2026年8月26日
人工智能案例|索尼:PlayStation AI 助手 + Intelligent Vision Sensor 的非纯 AI 传统巨头 AI 化样本——数智化转型网www.szhzxw.cn 专题栏目

人工智能案例|索尼:PlayStation AI 助手 + Intelligent Vision Sensor 的非纯 AI 传统巨头 AI 化样本

作为全球影音娱乐、游戏、半导体、影像四大业务的科技巨头,索尼(Sony Group Corporation, […]
📅 08-26 · 👁 2026年8月26日