数字化转型网数据专题将关注数据治理、数据质量管理、数据架构、主数据管理、数据仓库、元数据管理、数据备份、数据挖掘、数据分析、数据安全、大数据、数据合规、等数据相关全产业链相关环节。
Hadoop虽然存在这样那样的缺点，但是事实证明，它依然⾮常受欢迎，因为它确实解决了其他技术⽆法解决的问题。 数字化转型网www.szhzxw.cn
那么如何解决Hadoop本⾝的缺陷呢，很简单，用户选择把Hadoop和数据仓库结合起来使⽤：
Hadoop以其⼤容量低成本的特性，保存最原始的数据，这部分数据⽐较全⾯，但是质量可能不是⾮ 常⾼。对于关键的数据，通过ETL处理后，导⼊到数据仓库中，提供更好的查询性能，提供更好的数 据质量，⽀撑企业内部的BI和报表需求。
看起来很美好，但是可以看出⼜回到了早期存在的问题，数据孤岛问题。往往同⼀份数据在Hadoop 和数据仓库中都有⼀份，除了造成数据冗余、成本浪费，还造成了数据产出⼝径不⼀致问题，应该以 哪个系统的数据为准有时候说不清楚；另外，这种数据架构带来了运维上的困难，⽐如Schema的变 更很容易导致ETL链路的各种问题，这些都严重影响了从数据到价值的转换效率。
数据湖技术
用户需要有这样⼀种系统，它既具备Hadoop的低成本⼤容量的优势，⼜具备数据仓库的ACID事务等能⼒。如果有⼀套技术⽅案能够⽀撑如上需求的话，那么就可以很⼤程度上解决Hadoop+Data Warehouse搭配使⽤带来的各种问题。
数据湖是⼀种融合了Hadoop和数仓优势的技术。数据湖构建在低成本分布式存储之上，提供更好的事物和性能⽀持的统⼀数据存储系统。数字化转型网www.szhzxw.cn
那不是说就不需要数据仓库了，从短期来看是做不到的，对于性能要求⽐较⾼的查询等需求，依然需要数据仓库来解决。但按⼆⼋原则，如果80%的数据处理需求通过数据湖⼀套技术架构就能解决的话，就已经能够给业务带来很大价值了；无论在效率上还是成本上，都会带来很大的优势。业界有人偏向长期共存，有人偏向于数据湖架构逐步统⼀市场，目前暂⽆定论。
声明：本文来自网络，版权归作者所有。文章内容仅代表作者独立观点，不代表数字化转型网立场，转载目的在于传递更多信息。如有侵权，请联系我们。数字化转型网www.szhzxw.cn
数字化转型网数据专题包含哪些内容
数字化转型网数据专题将关注数据治理、数据质量管理、数据架构、主数据管理、数据仓库、元数据管理、数据备份、数据挖掘、数据分析、数据安全、大数据、数据合规、等数据相关全产业链相关环节。
数字化转型网数据专题包含： 数字化转型网（www.szhzxw.cn）
1、数据相关外脑支持：100+数据相关专家、100+数据实践者、1000+相关资料
2、数据研习社：与全球数据相关专家、实践者共同探讨相关问题，推动产业发展！
3、国际认证培训：目前已引进DAMA国际认证CDMP，其他国内外认证也在逐步引进中
4、典型案例参考：与数字化转型网数据要素X研习社社员一起学习典型案例，共探企业数据落地应用
本文由数字化转型网（www.szhzxw.cn）转载而成，来源于大数据的朋友；编辑/翻译：数字化转型网Jack。
