数字化转型网数据专题将关注数据治理、数据质量管理、数据架构、主数据管理、数据仓库、元数据管理、数据备份、数据挖掘、数据分析、数据安全、大数据、数据合规、等数据相关全产业链相关环节。
以下是数据湖技术和数据仓库的⼀个简单对比:
数据仓库是⼀个优化的数据库,⽤于分析来自事务系统和业务线应⽤程序的关系数据。事先定义数据结构和Schema以优化快速SQL查询,其中结果通常⽤于操作报告和分析。数据经过了清理、丰富和转换,因此可以充当用户可信任的“单⼀信息源”。
数据湖有所不同,因为它存储来自业务线应⽤程序的关系数据,以及来自移动应⽤程序、IoT设备和社交媒体的非关系数据。捕获数据时,未定义数据结构或Schema。这意味着可以存储所有数据,而不需要精心设计也无需知道将来可能需要哪些问题的答案。可以对数据使用不同类型的分析(如SQL查询、⼤数据分析、全⽂搜索、实时分析和机器学习)来获得结果。
| 特性 | 数据仓库 | 数据湖 |
| 数据 | 来自事务系统、运营数据库和业务线应用程序的关系数据 | 来自IOT设备、网站、移动应用程序的非关系和关系数据 |
| Schema | 设计在数据仓库实施之前(写入型Schema) | 写入在分析时(读取型Schema) |
| 性价比 | 更快查询结果会带来较高存储成本 | 更快查询结果只需较低存储成本 |
| 数据质量 | 可作为重要事实依据的高度监管数据 | 任何可以或无法进行监管的数据 |
| 用户 | 业务分析师 | 数据科学家、数据开发和业务分析师 |
| 分析 | 批处理报告、BI和可视化 | 机器学习、预测分析、数据发现和分析 |