数字化转型网数据专题将关注数据治理、数据质量管理、数据架构、主数据管理、数据仓库、元数据管理、数据备份、数据挖掘、数据分析、数据安全、大数据、数据合规、等数据相关全产业链相关环节。
首先思考几个问题
班公湖里的水是怎么来的?
冰川融水形成小溪,溪水从山间倾泻而下,汇聚成一片宁静的湖面。
企业的数据也是一样,我们不希望各个组织的数据分散到不同地方,而是集中储存和管理。
为什么叫数据湖,不叫数据河,数据池,或者数据海?
数据要能存,而不是一江春水向东流。
要足够大,大数据太大,一池存不下。
企业的数据要有边界,可以流通和交换,但更注重隐私和安全,“海到无边天作岸”,可不行。
数据库,数据仓库,数据湖,湖仓一体,数据中台,这些概念你是否混淆?
(1)数据库 提供数据的存储和查询。
(2)数据仓库 是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合,用于支持管理决策和信息的全局共享。
(3)数据湖 是一个以原始格式存储数据的存储库或系统,它按原样存储数据,而无需事先对数据进行结构化处理。一个数据湖可以存储结构化数据(如关系型数据库中的表),半结构化数据(如CSV、日志、XML、JSON),非结构化数据(如电子邮件、文档、PDF)和二进制数据(如图形、音频、视频)。
(4)湖仓一体 数据仓库和数据湖的数据和元数据打通和自由流动,湖里的数据可以流到仓里,可以直接被使用;而仓里的数据也可以留到湖里,低成本的长久保存,供未来使用。
(5)数据中台 避免数据的重复计算,通过数据服务化,提高数据的共享能力,赋能数据应用。