数字化转型网数据专题将关注数据治理、数据质量管理、数据架构、主数据管理、数据仓库、元数据管理、数据备份、数据挖掘、数据分析、数据安全、大数据、数据合规、等数据相关全产业链相关环节。

公共维度汇总层(DIM)维表命名规范:dim_{业务板块名称/pub}_{维度定义}[_{自定义命名标签}],所谓pub是与具体业务板块无关或各个业务板块都可公用的维度,如时间维度。举例如下:
公共区域维表dim_pub_area
A公司电商板块的商品全量表dim_asale_itm
建表示例
本例中,最终的维表建表语句如下所示。数字化转型网www.szhzxw.cn
CREATE TABLE IF NOT EXISTS dim_asale_itm
(
item_id BIGINT COMMENT ‘商品ID’,
item_title STRING COMMENT ‘商品名称’,
item_price DOUBLE COMMENT ‘商品成交价格_元’,
item_stuff_status BIGINT COMMENT ‘商品新旧程度_0全新1闲置2二手’,
cate_id BIGINT COMMENT ‘商品类目ID’,
cate_name STRING COMMENT ‘商品类目名称’,
commodity_id BIGINT COMMENT ‘品类ID’,
commodity_name STRING COMMENT ‘品类名称’,
umid STRING COMMENT ‘买家ID’,
item_status BIGINT COMMENT ‘商品状态_0正常1用户删除2下架3未上架’,
city STRING COMMENT ‘商品所在城市’,
prov STRING COMMENT ‘商品所在省份’
)
COMMENT ‘商品全量表’
PARTITIONED BY (ds STRING COMMENT ‘日期,yyyymmdd’);
明细粒度事实层(DWD)
明细粒度事实层以业务过程驱动建模,基于每个具体的业务过程特点,构建最细粒度的明细层事实表。您可以结合企业的数据使用特点,将明细事实表的某些重要维度属性字段做适当冗余,即宽表化处理。
公共汇总粒度事实层(DWS)和明细粒度事实层(DWD)的事实表作为数据仓库维度建模的核心,需紧绕业务过程来设计。通过获取描述业务过程的度量来描述业务过程,包括引用的维度和与业务过程有关的度量。度量通常为数值型数据,作为事实逻辑表的依据。事实逻辑表的描述信息是事实属性,事实属性中的外键字段通过对应维度进行关联。数字化转型网www.szhzxw.cn
事实表中一条记录所表达的业务细节程度被称为粒度。通常粒度可以通过两种方式来表述:一种是维度属性组合所表示的细节程度,一种是所表示的具体业务含义。
作为度量业务过程的事实,通常为整型或浮点型的十进制数值,有可加性、半可加性和不可加性三种类型:
可加性事实是指可以按照与事实表关联的任意维度进行汇总。
半可加性事实只能按照特定维度汇总,不能对所有维度汇总。例如库存可以按照地点和商品进行汇总,而按时间维度把一年中每个月的库存累加则毫无意义。
完全不可加性,例如比率型事实。对于不可加性的事实,可分解为可加的组件来实现聚集。
事实表相对维表通常更加细长,行增加速度也更快。维度属性可以存储到事实表中,这种存储到事实表中的维度列称为维度退化,可加快查询速度。与其他存储在维表中的维度一样,维度退化可以用来进行事实表的过滤查询、实现聚合操作等。
明细粒度事实层(DWD)通常分为三种:事务事实表、周期快照事实表和累积快照事实表,详情请参见数仓建设指南。
事务事实表用来描述业务过程,跟踪空间或时间上某点的度量事件,保存的是最原子的数据,也称为原子事实表。数字化转型网www.szhzxw.cn
周期快照事实表以具有规律性的、可预见的时间间隔记录事实。
累积快照事实表用来表述过程开始和结束之间的关键步骤事件,覆盖过程的整个生命周期,通常具有多个日期字段来记录关键时间点。当累积快照事实表随着生命周期不断变化时,记录也会随着过程的变化而被修改。
声明:本文来自网络,版权归作者所有。文章内容仅代表作者独立观点,不代表数字化转型网立场,转载目的在于传递更多信息。如有侵权,请联系我们。数字化转型网www.szhzxw.cn
数字化转型网数据专题包含哪些内容
数字化转型网数据专题将关注数据治理、数据质量管理、数据架构、主数据管理、数据仓库、元数据管理、数据备份、数据挖掘、数据分析、数据安全、大数据、数据合规、等数据相关全产业链相关环节。
数字化转型网数据专题包含: 数字化转型网(www.szhzxw.cn)
1、数据相关外脑支持:100+数据相关专家、100+数据实践者、1000+相关资料
2、数据研习社:与全球数据相关专家、实践者共同探讨相关问题,推动产业发展!
3、国际认证培训:目前已引进DAMA国际认证CDMP,其他国内外认证也在逐步引进中
4、典型案例参考:与数字化转型网数据要素X研习社社员一起学习典型案例,共探企业数据落地应用

本文由数字化转型网(www.szhzxw.cn)转载而成,来源于 数据仓库与Python大数据;编辑/翻译:数字化转型网Jack。








