数据管理系统及数据架构的类型 -数字化转型网www.szhzxw.cn

数字化转型网数据专题将关注数据治理、数据质量管理、数据架构、主数据管理、数据仓库、元数据管理、数据备份、数据挖掘、数据分析、数据安全、大数据、数据合规、等数据相关全产业链相关环节。

1. 数据仓库

数据仓库将来自企业内不同关系数据源的数据聚合到单个集中的统一存储库中。提取后，数据流经 ETL 数据管道，经过各种数据转换，才能满足预定义数据模型的需求。一旦加载到数据仓库中，数据就可以支持不同的商业智能 (BI) 和数据科学应用程序。

2.数据集市

数据集市是一个有针对性的数据仓库版本，它包含一个较小的数据子集，这些数据对组织内的单个团队或选定用户组很重要且是必需的。由于数据集市包含较小的数据子集，因此在使用更广泛的数据仓库数据集时，数据集市使部门或业务线能够更快地发现更有针对性的洞察。最初创建数据集市的目的是应对组织在 20 世纪 90 年代建立数据仓库的困难。当时集成来自整个组织的数据需要进行大量手动编码，而且非常耗时。与集中式数据仓库相比，数据集市的范围更有限，使其实现起来更容易且更快速。

3. 数据湖

数据仓库存储已处理的数据，而数据湖存储原始数据，通常为 PB 级别。数据湖可以存储结构化和非结构化数据，这使其与其他数据存储库不同。这种灵活的存储需求对于数据科学家、数据工程师和开发人员尤其有用。最初创建数据湖的目的是应对数据仓库无法处理数量、速度和种类不断增加的大数据的情况。虽然数据湖比数据仓库慢，但它们的价格也更低廉，因为在采集之前几乎不需要数据准备。

4.数据结构

数据结构是一种架构，它侧重于数据提供者和数据使用者之间的数据价值链中的数据集成、数据工程和治理的自动化数据结构基于“活动元数据”的概念，使用知识图、语义、数据挖掘和机器学习 (AI) 技术来发现各种类型元数据（例如系统日志、社交等）中的模式。然后，将这种洞察应用于自动化并编排数据价值链。例如，它可以使数据使用者能够找到数据产品，然后自动向他们提供该数据产品。数据产品和数据使用者之间数据访问的增加减少了数据孤岛，并提供了更完整的组织数据视图。数据结构是一种具有巨大潜力的新兴技术，可用于增强客户概要分析、欺诈检测和预防性维护。根据 Gartner 的数据，数据结构使集成设计时间减少 30%，部署时间减少 30%，维护时间减少 70%。

5.数据网格

数据网格是一种去中心化的数据架构，按业务领域来组织数据。使用数据网格时，组织需要不再将数据视为流程的副产品，而是开始将其视为产品本身。数据生产者充当数据产品所有者。作为主题专家，数据生产者可以利用他们对数据主要使用者的理解为他们设计 API。这些 API 也可以从组织的其他部分访问，提供了更广泛的受管数据访问渠道。