数字化转型网数据专题将关注数据治理、数据质量管理、数据架构、主数据管理、数据仓库、元数据管理、数据备份、数据挖掘、数据分析、数据安全、大数据、数据合规、等数据相关全产业链相关环节。
困扰一：互联网的兴起和数据孤岛
随着互联网的兴起，企业内客户数据大量涌现。为了存储这些数据，单个数据库已不再足够，公司通常会建立多个按业务部门组织的数据库来保存数据。随着数据量的增长，公司通常可能会构建数十个独立运行的业务数据库，这些数据库具有不同的业务和用途。
一方面，这是一种福气：有了更多，更好的数据，公司能够比以往更精确地定位客户并管理其运营。
另一方面，这导致了数据孤岛：整个组织中数据分散到各个地方 由于无法集中存储和利用这些数据，公司对于数据的利用效率并不高。这样的痛苦让公司逐步走向数仓的利用模式。
困扰二：非结构化数据
随着数据仓库的兴起，人们发现，数据孤岛的问题貌似被数仓解决了。我们通过ETL、数据管道等程序，从各个数据孤岛中抽取数据注入数仓中等待进行维度分析。看起来有一种数据集中存储的样子。但是随着互联网的加速发展，数据也产生了爆发性的增长，数仓就表现出来了一点力不从心：
数据增长的太快，而由于数据建模的严格性，每开发一次数仓的新应用，流程就很长。无法适应新时代对于数据快速分析、快速处理的要求
随着数据行业和大数据处理技术的发展，原本被遗忘在角落中的一些价值密度低的非结构化数据便慢慢了有了其价值所在，对于这些大量的非结构化数据（日志、记录、报告等）的分析也逐步提上日程
但是，数仓并不适合去分析非结构化的数据，因为数仓的严谨性，其只适合处理结构化的数据。那么，对于非结构化数据的处理数仓就不太适合。
困扰三：保留原始数据
在以前，由于大规模存储的成本和复杂性以及大数据技术尚未开始蓬勃发展等客观原因，造成企业对于数据的存储是精简的。也就是，能够存入到企业系统中的数据都是经过处理提炼的，这些数据撇除了价值密度低的信息，只保留了和业务高度相关的核心内容。
这样可以有效的减少企业的数据容量，也就减少了存储的成本、以及管理维护的复杂度。但这样做是有一定的缺点的，那就是企业并不保留原始数据（或者说保留部分），一旦出现数据错误或者其它问题，想要从原始的数据中进行溯源就难以完成了。
并且，业务并不是一成不变的，当初因为业务被精简掉的内容，可能对未来的业务有所帮助。所以，无法大量的长期保存原始数据也是企业的困扰之一
数据孤岛
非结构化数据分析
想要海量的保存原始数据
基于这3个最主要的困扰，企业迫切希望能够做到：
数据的集中存储（解决数据孤岛），并且成本可控，使用维护简单
可以存储任意格式的数据（结构化的、非结构化的、半结构化的）
能够支持大多数分析框架
那么，数据湖的概念也就因这三种需求被逐步的提出并走向人们的视野中。
声明：本文来自网络，版权归作者所有。文章内容仅代表作者独立观点，不代表数字化转型网立场，转载目的在于传递更多信息。如有侵权，请联系我们。数字化转型网www.szhzxw.cn
数字化转型网数据专题包含哪些内容
数字化转型网数据专题将关注数据治理、数据质量管理、数据架构、主数据管理、数据仓库、元数据管理、数据备份、数据挖掘、数据分析、数据安全、大数据、数据合规、等数据相关全产业链相关环节。
数字化转型网数据专题包含： 数字化转型网（www.szhzxw.cn）
1、数据相关外脑支持：100+数据相关专家、100+数据实践者、1000+相关资料
2、数据研习社：与全球数据相关专家、实践者共同探讨相关问题，推动产业发展！
3、国际认证培训：目前已引进DAMA国际认证CDMP，其他国内外认证也在逐步引进中
4、典型案例参考：与数字化转型网数据要素X研习社社员一起学习典型案例，共探企业数据落地应用
本文由数字化转型网（www.szhzxw.cn）转载而成，来源于 大数据左右手；编辑/翻译：数字化转型网Jack。
