Data Vault 2.0：数据仓库建模方法

一、什么是Data Vault 2.0：数据仓库建模方法

Data Vault 2.0 是由 Dan Linstedt 在 2013 年提出的企业级数据仓库建模方法论，继承自 1990 年代后期提出的 Data Vault 1.0，融合了敏捷方法、NoSQL 思想、并行计算与企业数据仓库最佳实践，主要由 Hub（业务键）、Link（关系）、Satellite（属性）三类核心实体构成。Data Vault 2.0 强调「数据全部加载」（raw vault）、可追溯性、并行性与对未建模业务的自适应能力，是面向企业级数据湖仓一体、监管合规（GDPR、巴塞尔协议）与持续交付场景的现代化建模方法。

二、原理

1. 业务键识别：从源系统识别业务主键（Business Key），建立 Hub 表，存储业务键与 HASH 键、时间戳、来源 → 2. 关系建模：把 Hub 间的关系抽为 Link 表，存储 HASH 键组合与关系属性 → 3. 属性建模：把会随时间变化的属性放入 Satellite 表，按时间分区保留全量历史 → 4. 三层架构：Raw Vault（原始接入层）+ Business Vault（业务规则层）+ Information Mart（消费层） → 5. 加载策略：全量加载 + 增量 Hash 差分，用 ELT 方式写入湖仓，天然适配并行计算（Spark/Snowflake） → 6. 追溯与合规：通过 HASH 键与时间戳实现行级追溯，支撑 GDPR 被遗忘权与监管审计

三、信息卡片

四、历史时间线

1990 年代：Dan Linstedt 在美国国防部项目中首次提出 Data Vault 1.0，解决 ETL 反复修改模型的问题

• 2001 年：Data Vault 1.0 模型标准化，引入 Hub、Link、Satellite 三件套
• 2013 年：Dan Linstedt 发布《Building a Scalable Data Warehouse with Data Vault 2.0》，正式提出 DV 2.0
• 2015-2018 年：DV 2.0 与 Snowflake、Databricks、AWS Redshift 等云数仓结合，进入金融与保险大客户
• 2019-2022 年：DV 2.0 与 Data Vault on Snowflake、dbt + Data Vault 等开源实现成熟
• 2023-2025 年：DV 2.0 与数据编织（Data Fabric）、Data Mesh 数据网格、湖仓一体深度结合，成为企业级数据架构主流

五、分类

按层次：Raw Vault（原始接入）vs Business Vault（业务规则）vs Information Mart（消费层）

• 按实体类型：Hub（业务键）vs Link（关系）vs Satellite（属性）
• 按加载模式：全量加载（Full Load）vs 增量加载（Delta Load）vs 拉链表同步
• 按实现路径：传统 DV 2.0（ETL 工具）vs Cloud DV 2.0（Snowflake/Databricks）vs DV 2.0 on dbt
• 按业务场景：金融监管、保险 BI、医疗数据中台、零售数据湖、电信数据中台

六、应用场景

• 金融监管数据仓库：满足巴塞尔协议、IFRS9、反洗钱 AML 等强监管数据追溯需求
• 保险与医疗数据中台：跨多源系统（核心系统、理赔、HIS）整合客户与保单/病历数据
• GDPR / CCPA 合规：通过 HASH 键与 Satellite 时间分区实现行级追溯与被遗忘权
• 跨源数据整合：把 ERP、CRM、IoT、埋点等多源数据按统一 HASH 键汇总到 Raw Vault
• Data Mesh 数据网格落地：以 Data Vault 为底座构建 Domain-oriented Data Product

七、优缺点

• 优点：
• 可追溯性极强：所有数据带 HASH 键 + 时间戳，支持行级历史与合规审计
• 并行加载：Hub/Link/Satellite 彼此独立，可高度并行写入湖仓
• 对业务变化友好：新增业务键或属性只新增 Hub/Satellite，不影响现有模型
• 适配现代云数仓：天然适配 Snowflake/Databricks/Redshift 的 MPP 架构
• 缺点：
• 上手成本高：相比 Kimball 维度建模，概念与建模规范更复杂
• 查询性能开销：多表 JOIN 频繁，性能调优对 PIT（Point-In-Time）表依赖大
• 生态工具偏少：相比 dbt + Kimball，专用 Data Vault 工具与最佳实践较少
• 过度建模风险：小项目用 DV 2.0 可能过度工程化，不如直接用 3NF 或维度建模

八、常见误区

Data Vault 2.0 = Kimball（错：Kimball 是维度建模，关注查询性能；DV 2.0 是 Hub/Link/Satellite，关注可追溯）

• DV 2.0 不需要数据建模（错：DV 2.0 对业务建模与 HASH 键设计要求反而更高）
• Raw Vault 保留所有数据就合规（错：仅保留不够，需要 Business Vault 落地业务规则与脱敏）
• DV 2.0 适用于所有场景（错：小型项目或简单 BI 场景，DV 2.0 反而显得过度设计）

九、关联概念

• 父概念：数据仓库 Data Warehouse、数据中台
• 子概念：数据仓库 Data Warehouse、数据编织 Data Fabric
• 兄弟概念：数据仓库 Data Warehouse、数据编织 Data Fabric、Data Mesh数据网格
• 对比概念：Data Vault 2.0 vs Kimball、Data Vault 2.0 vs Inmon 3NF、Data Vault 2.0 vs Data Mesh、Raw Vault vs Business Vault
• 应用相关：数据仓库 Data Warehouse、数据治理 Data Governance、数据湖 Data Lake、湖仓一体