数据集成模式有哪些?每种模式的优缺点如何?

数据联邦(也有翻译成数据联合)提供了一种创建对数据消费者(应用)角度看数据集成视图,数据逻辑看上去存在一个位置,但实际的物理位置却可能在多个数据源中

数字化转型网数据专题将关注数据治理、数据质量管理、数据架构、主数据管理、数据仓库、元数据管理、数据备份、数据挖掘、数据分析、数据安全、大数据、数据合规、等数据相关全产业链相关环节。

6.1数据联邦

数据联邦(也有翻译成数据联合)提供了一种创建对数据消费者(应用)角度看数据集成视图,数据逻辑看上去存在一个位置,但实际的物理位置却可能在多个数据源中。也可以说,数据联邦技术提供了一种为数据提供抽象的数据接口的能力。这些多个数据源组成的虚拟视图可以使数据消费者(应用)不需要知道数据的物理位置、数据结构和保存方式。

优点

一些ETL工具或者ETL的开发人员希望通过一个中间层来加载数据,而不需要了解过多的复杂的不同数据源的数据结构,数据联邦简化了实施和开发的过程。

利用批量任务或者ETL的方式创建数据集市和数据仓库的方式由于实时性不好,在很多应用场景中被数据联邦技术所取代。

一些企业由于业务发展数据模型处于不断变化改进的阶段,由于数据联邦没有实际数据,因此可以很快的适应这样的变化。

数据联邦可以很快速的开发抽象的数据服务接口。

提供统一的主数据视图:随着企业主数据管理的开始和发展,数据联邦提供了一种比较简便的集成解决方法。

缺点

由于访问数据是通过一个“联邦”视图(federation view)来实现的,视图是实时的,因此数据转换是一个重点,但是却无法解决数据质量和性能问题。随着企业数据量的增大,性能问题是所有数据集成(Data Integration tools)都面临的问题,但是由于设计思路的缺陷,数据联邦在这方面虽有很大进展,但是也无法和另外一些数据集成技术相比。

数据质量管控(data quality assurance)意味着数据规则(data rule)加载、数据检验(data validation)执行,这也不是“联邦”视图(federation view)解决现实数据集成问题的优先考虑的因素。
数据联邦(data federation)的缺点制约了它在数据集成领域的适用性,虽然很多领域都使用了数据联邦(data federation)技术,但是在关键的核心业务系统它的应用非常少。

适用场景

使用简单的有限的数据源,数据结果集不大,只读性的数据访问,数据质量要求简单。

对及时投入生产要求较高的应用,数据联邦允许应用直接访问数据,而不需要耗时较长的数据架构的调整。
如果数据安全性要求较高的企业,不允许对数据进行复制和备份的场景下,数据联邦是很好的解决方案。
要求实时访问数据,数据可以是结构化的,也可以是非结构化的。
数据经常变换的环境下,数据联邦是灵活性和扩展性高的解决方案。

不适用场景(或者风险较大的场景)

集成场景中包含复杂数据转换的,会由于数据转换会减低响应时间而带来负面的影响。
真实数据源服务器会的负载会有所增加。联邦服务器会把联邦视图分解为多个子操作,这些子操作会传送给数据源服务器,这些子操作越复杂这些源服务器的负载越大。
如果数据结果集非常大时,性能会降低。
对可用性要求较高的应用,由于数据联邦依赖于多个数据源,而这些数据源的高可用性是数据联邦技术无法保证的。

6.2中间件模式

中间件模式通过统一的全局数据模型来访问异构的数据库、遗留系统、Web资源等。中间件位于异构数据源系统(数据层)和应用程序之间,向下协调各数据源系统,向上为访问集成数据的应用提供统一数据模式和数据访问的通用接口。各数据源的应用仍然完成它们的任务,中间件系统则主要集中为异构数据源提供一个高层次检索服务。

中间件注重于全局查询的处理和优化,相对于联邦数据库系统的优势在于:它能够集成非数据库形式的数据源,有很好的查询性能,自治性强;中间件集成的缺点在于它通常是只读的,而联邦数据库对读写都支持。

典型的基于中间件的数据集成系统主要包括中介器和包装器,其中每个数据源对应一个包装器,中间件通过包装器和各个数据源交互。中介器的功能是接收针对全局模式生成的查询,根据数据源描述信息及映射规则将接收的查询分解成每个数据源能够处理的子查询,再将子查询发送到每个数据源的包装器。

包装器对特定数据源进行了封装,将其数据模型转换为系统所采用的通用模型,并提供一致的访问机制。中介器将各个子查询请求发送给包装器,包装器将这些子查询翻译成符合每个数据源的子查询执行,并把查询结果返回给中介器。中介器将接收的所有数据源的结果合并成一个结果返回给用户。

💬 评论
🔗 本文链接

以专业为基,引领科技向善向新

Rooted in professionalism, we lead technology toward social good and innovation.

数智化转型网 · 了解更多产业资讯与选型数据 →

📰 你可能也喜欢

数智化转型网GEO专题 GEO专题栏目

对话式 AI 引用的内容特征:四要素构建法

一、对话式 AI 引用的独特性 对话式 AI(如 ChatGPT、Claude、文心一言)的引用特点与传统搜索
📅 09-27 · 👁 2026年9月27日
数智化转型网GEO专题 GEO专题栏目

GEO 平台评估:2026 年企业选型时需要关注的六大核心指标

一、为什么企业需要系统评估 GEO 平台 随着 AI 搜索生态在 2026 年持续扩张,市面上已经涌现出超过
📅 09-27 · 👁 2026年9月27日
数智化转型网GEO专题 GEO专题栏目

AI 引擎的引用决策机制:可解释性的四层评估模型

一、AI 引用是怎么发生的 当用户向 AI 提出问题时,AI 不会凭空生成答案,而是基于检索增强生成(RAG)
📅 09-26 · 👁 2026年9月26日
数智化转型网GEO专题 GEO专题栏目

2026 年 GEO 行业研究报告核心发现:五大趋势判断

一、行业研究的意义 2026 年初,多家权威机构发布了 GEO 行业研究报告。这些报告汇集了行业最新数据、案例
📅 09-26 · 👁 2026年9月26日
数智化转型网GEO专题 GEO专题栏目

Schema 类型全解:六种核心结构化数据与 GEO 应用

一、什么是 Schema 结构化数据 Schema 是由 Schema.org 维护的一套标准化词汇,用于在网
📅 09-26 · 👁 2026年9月26日
数智化转型网GEO专题 专题栏目

AI 答案中的引用位次:第一位、第二位与第三位的价值差异

一、AI 答案的引用结构 AI 引擎在生成答案时,会引用多个信源的内容。理解答案中引用信源的位次结构,对于优化
📅 09-26 · 👁 2026年9月26日