数据湖采集的数据有哪些？数据湖采集原始数据的常见方式有哪些？数据湖的存储支持哪些特性？-数字化转型网www.szhzxw.cn

数字化转型网数据专题将关注数据治理、数据质量管理、数据架构、主数据管理、数据仓库、元数据管理、数据备份、数据挖掘、数据分析、数据安全、大数据、数据合规、等数据相关全产业链相关环节。

一、数据湖中采集的数据有哪些

数据采集系统负责将原始数据从源头采集到数据湖中。数据湖中主要采集如下数据。

数据湖采集的数据一：ODS

存储来自各业务系统（生产系统）的原始数据，一般以定时快照的方式从生产数据库中采集，或者采用变化数据捕获（Change Data Capture，CDC）的方式从数据库日志中采集。后者稍微复杂一些，但是可以减少数据库服务器的负载，达到更好的实时性。在从生产数据库中采集的时候，建议设置主从集群并从从库中采集，以避免造成对生产数据库的性能影响。数字化转型网www.szhzxw.cn

数据湖采集的数据二：服务器日志

系统中各个服务器产生的各种事件日志。典型例子是互联网服务器的日志，其中包含页面请求的历史记录，如客户端IP地址、请求日期/ 时间、请求的网页、HTTP代码、提供的字节数、用户代理、引用地址等。这些数据可能都在一个文件中，也可能分隔成不同的日志，如访问日志、错误日志、引荐者日志等。我们通常会将各个业务应用的日志不加改动地采集到数据湖中。

数据湖采集的数据三：动态数据

有些动态产生的数据不在业务系统中，例如为客户动态产生的推荐产品、客户行为的埋点数据等。这些数据有时在服务器日志中，但更多的时候要以独立的数据表或Web Service的方式进行采集。埋点是数据采集领域（尤其是用户行为数据采集领域）的术语，指的是对特定用户行为或事件进行捕获、处理和发送的相关技术及其实施过程，比如用户点击某个图标的次数、观看某个视频的时长等。埋点是用户行为分析中非常重要的环节，决定了数据的广度、深度、质量，能影响后续所有的环节。因此，这部分埋点数据应该采集到数据湖中。数字化转型网www.szhzxw.cn

数据湖采集的数据四：第三方数据

从第三方获得的数据，例如用户的征信数据、广告投放的用户行为数据、应用商店的下载数据等。

二、数据湖采集原始数据的常见方式有哪些？

采集这些原始数据的常见方式如下。

数据湖采集原始数据的常见方式一：传统数据库数据采集

数据库采集是通过Sqoop或DataX等采集工具，将数据库中的数据上传到Hadoop的分布式文件系统中，并创建对应的Hive表的过程。数据库采集分为全量采集和增量采集，全量采集是一次性将某个源表中的数据全部采集过来，增量采集是定时从源表中采集新数据。

数据湖采集原始数据的常见方式二：Kafka实时数据采集

Web服务的数据常常会写入Kafka，通过Kafka快速高效地传输到Hadoop中。由Confluent开源的Kafka Connect架构能很方便地支持将Kafka中的数据传输到Hive表中。

数据湖采集原始数据的常见方式三：日志文件采集

对于日志文件，通常会采用Flume或Logstash来采集。

数据湖采集原始数据的常见方式四：爬虫程序采集

很多网页数据需要编写爬虫程序模拟登录并进行页面分析来获取。

数据湖采集原始数据的常见方式五：Web Service数据采集

有的数据提供商会提供基于HTTP的数据接口，用户需要编写程序来访问这些接口以持续获取数据。数字化转型网www.szhzxw.cn

数据湖需要支持海量异构数据的存储。下面是一些常见的存储系统及其适用的数据类型。

数据湖采集原始数据的常见方式六：HDFS

一般用来存储日志数据和作为通用文件系统。

数据湖采集原始数据的常见方式七：Hive

一般用来存储ODS和导入的关系型数据。

数据湖采集原始数据的常见方式八：键-值存储（Key-value Store）

例如Cassandra、HBase、ClickHouse等，适合对性能和可扩展性有要求的加载和查询场景，如物联网、用户推荐和个性化引擎等。

数据湖采集原始数据的常见方式九：文档数据库（Document Store）

例如MongoDB、Couchbase等，适合对数据存储有扩展性要求的场景，如处理游戏账号、票务及实时天气警报等。数字化转型网www.szhzxw.cn

数据湖采集原始数据的常见方式十：图数据库（Graph Store）

例如Neo4j、JanusGraph等，用于在处理大型数据集时建立数据关系并提供快速查询，如进行相关商品的推荐和促销，建立社交图谱以增强内容个性化等。

数据湖采集原始数据的常见方式十一：对象存储（Object Store）

例如Ceph、Amazon S3等，适合更新变动较少的对象文件数据、没有目录结构的文件和不能直接打开或修改的文件，如图片存储、视频存储等。

三、数据湖的存储支持哪些特性

一般来讲，数据湖的存储应该支持以下特性。

数据湖的存储支持的特性一：可扩展性。

企业数据湖充当整个组织或部门数据的集中数据存储，它必须能够弹性扩展。注意，虽然云原生架构比较容易支持弹性扩展，但是数据中心都会有空间和电力限制，准备建设大规模数据湖的企业需要考虑多数据中心或混合云的架构，否则就会陷入几年就要“搬家”的窘境。

数据湖的存储支持的特性二：数据高可用性。

数据的及时性和持续可用性是辅助决策制定的关键，因此必须使用HDFS、Ceph、GlusterFS等支持多备份、分布式高可用的架构。数字化转型网www.szhzxw.cn

数据湖的存储支持的特性三：高效的存储效率。

数据湖的数据量是以PB计的，而且因为需要多备份（3份或更多），其存储效率就非常重要。例如，使用LZO压缩存储HDFS文件可以达到1∶6甚至1∶7的压缩比例，而且可以通过系统支持实现透明访问，也就是说，程序可以直接使用数据而无须先展开到临时空间。另外，列式存储也是一种常用的利于压缩的存储方式。存储效率越高，意味着需要的服务器越少，使用的电量越少，扩容的时间间隔越长，因此存储效率对数据湖的运营非常重要。

数据湖的存储支持的特性四：数据持久性。

数据一旦存储，就不能因为磁盘、设备、灾难或任何其他因素而丢失。除了使用分布式架构，一般还需要考虑多数据中心和混合云架构支持的异地备份。

数据湖的存储支持的特性五：安全性。

对于本地和基于云的企业数据湖来说，安全都是至关重要的，应将其放在首位。例如，数据必须经过加密，必须不可变（在任何需要的地方），并且必须符合行业标准；数据系统的访问必须支持端到端的授权和鉴权集成等。应该从刚开始建设数据湖时就进行安全性的设计，并将其纳入基本的体系结构和设计中。只有在企业整体安全基础架构和控件的框架内部署和管理，数据湖的安全性才有保障。

数据湖的存储支持的特性六：治理和审计。

要能够应用治理规则及数据不变性，识别用户隐私数据以及提供完整的数据使用审计日志的能力，这对于满足法规和法定要求至关重要。数字化转型网www.szhzxw.cn

数据湖的存储支持的特性七：可以存储任何内容。

数据湖在设计之初，有一个主要考虑的因素：存储任何格式（结构化和非结构化）的数据并提供快速检索。当然，这里的“快速”并不是说要像面向用户的系统一样提供实时响应，在数据湖上运行的应用对交互的要求会低一些。即便如此，Presto、Impala等SQL-on-Hadoop的解决方案正在逐步提高数据湖的交互体验。

数据湖的存储支持的特性八：可以支持不同存储文件的大小和格式。

在很多场景中，系统需要存储很多小文件，这些文件的尺寸远小于Hadoop文件系统（HDFS）的默认块大小128MB。在基于Hadoop的框架中，每个文件在集群的名称节点的内存中均表示为一个对象，每个对象通常占用150B。这意味着大量文件将消耗大量内存。因此，大多数基于Hadoop的框架无法有效使用小文件。另一个重要方面是文件的格式，例如使用列存储（ORC和Parquet）可以加大文件的压缩比例，在读取时仅解压缩和处理当前查询所需的值，这样可以大大减少磁盘I/O和查询时间。

声明：本文来自网络，版权归作者所有。文章内容仅代表作者独立观点，不代表数字化转型网立场，转载目的在于传递更多信息。如有侵权，请联系我们。数字化转型网www.szhzxw.cn

数字化转型网数据专题包含哪些内容

数字化转型网数据专题包含：数字化转型网（www.szhzxw.cn）

1、数据相关外脑支持：100+数据相关专家、100+数据实践者、1000+相关资料

2、数据研习社：与全球数据相关专家、实践者共同探讨相关问题，推动产业发展！

3、国际认证培训：目前已引进DAMA国际认证CDMP，其他国内外认证也在逐步引进中

4、典型案例参考：与数字化转型网数据要素X研习社社员一起学习典型案例，共探企业数据落地应用