数据模型-数智化转型网szhzxw.cn

数字化转型网数据专题将关注数据治理、数据质量管理、数据架构、主数据管理、数据仓库、元数据管理、数据备份、数据挖掘、数据分析、数据安全、大数据、数据合规、等数据相关全产业链相关环节。

数据引入层（ODS）

ODS层存放您从业务系统获取的最原始的数据，是其他上层数据的源数据。业务数据系统中的数据通常为非常细节的数据，经过长时间累积，且访问频率很高，是面向应用的数据。

数据引入层表设计

本教程中，在ODS层主要包括的数据有：交易系统订单详情、用户信息详情、商品详情等。这些数据未经处理，是最原始的数据。逻辑上，这些数据都是以二维表的形式存储。虽然严格的说ODS层不属于数仓建模的范畴，但是合理的规划ODS层并做好数据同步也非常重要。本教程中，使用了6张ODS表：

记录用于拍卖的商品信息：s_auction。

记录用于正常售卖的商品信息：s_sale。

记录用户详细信息：s_users_extra。

记录新增的商品成交订单信息：s_biz_order_delta。

记录新增的物流订单信息：s_logistics_order_delta。

记录新增的支付订单信息：s_pay_order_delta。

说明

表或字段命名尽量和业务系统保持一致，但是需要通过额外的标识来区分增量和全量表。例如，我们通过_delta来标识该表为增量表。数字化转型网www.szhzxw.cn

命名时需要特别注意冲突处理，例如不同业务系统的表可能是同一个名称。为区分两个不同的表，您可以将这两个同名表的来源数据库名称作为后缀或前缀。例如，表中某些字段的名称刚好和关键字重名了，可以通过添加_col1后缀解决。

建表示例

提供建表语句示例如下。

CREATE TABLE IF NOT EXISTS s_sale
(
id STRING COMMENT ‘商品ID’,
title STRING COMMENT ‘商品名’,
gmt_modified STRING COMMENT ‘商品最后修改日期’,
starts STRING COMMENT ‘商品上架时间’,
price DOUBLE COMMENT ‘商品价格，单位元’,
city STRING COMMENT ‘商品所在城市’,
prov STRING COMMENT ‘商品所在省份’,
quantity BIGINT COMMENT ‘数量’,
stuff_status BIGINT COMMENT ‘商品新旧程度 0 全新 1 闲置 2 二手’,
auction_status BIGINT COMMENT ‘商品状态 0 正常 1 用户删除 2 下架 3 从未上架’,
cate_id BIGINT COMMENT ‘商品类目ID’,
cate_name STRING COMMENT ‘商品类目名称’,
commodity_id BIGINT COMMENT ‘品类ID’,
commodity_name STRING COMMENT ‘品类名称’,
umid STRING COMMENT ‘买家umid’
)
COMMENT ‘商品正常购买ODS’
PARTITIONED BY (ds STRING COMMENT ‘格式：YYYYMMDD’)
LIFECYCLE 400;

CREATE TABLE IF NOT EXISTS s_biz_order_delta
(
biz_order_id STRING COMMENT ‘订单ID’,
pay_order_id STRING COMMENT ‘支付订单ID’,
logistics_order_id STRING COMMENT ‘物流订单ID’,
buyer_nick STRING COMMENT ‘买家昵称’,
buyer_id STRING COMMENT ‘买家ID’,
seller_nick STRING COMMENT ‘卖家昵称’,
seller_id STRING COMMENT ‘卖家ID’,
auction_id STRING COMMENT ‘商品ID’,
auction_title STRING COMMENT ‘商品标题 ‘,
auction_price DOUBLE COMMENT ‘商品价格’,
buy_amount BIGINT COMMENT ‘购买数量’,
buy_fee BIGINT COMMENT ‘购买金额’,
pay_status BIGINT COMMENT ‘支付状态 1 未付款 2 已付款 3 已退款’,
logistics_id BIGINT COMMENT ‘物流订单ID’,
mord_cod_status BIGINT COMMENT ‘物流状态 0 初始状态 1 接单成功 2 接单超时3 揽收成功 4揽收失败 5 签收成功 6 签收失败 7 用户取消物流订单’,
status BIGINT COMMENT ‘状态 0 订单正常 1 订单不可见’,
sub_biz_type BIGINT COMMENT ‘业务类型 1 拍卖 2 购买’,
end_time STRING COMMENT ‘交易结束时间’,
shop_id BIGINT COMMENT ‘店铺ID’
)
COMMENT ‘交易成功订单日增量表’
PARTITIONED BY (ds STRING COMMENT ‘yyyymmdd’)
LIFECYCLE 7200;