数字化转型网数据专题将关注数据治理、数据质量管理、数据架构、主数据管理、数据仓库、元数据管理、数据备份、数据挖掘、数据分析、数据安全、大数据、数据合规、等数据相关全产业链相关环节。
6.1数据联邦
数据联邦（也有翻译成数据联合）提供了一种创建对数据消费者（应用）角度看数据集成视图，数据逻辑看上去存在一个位置，但实际的物理位置却可能在多个数据源中。也可以说，数据联邦技术提供了一种为数据提供抽象的数据接口的能力。这些多个数据源组成的虚拟视图可以使数据消费者（应用）不需要知道数据的物理位置、数据结构和保存方式。数字化转型网www.szhzxw.cn
优点
一些ETL工具或者ETL的开发人员希望通过一个中间层来加载数据，而不需要了解过多的复杂的不同数据源的数据结构，数据联邦简化了实施和开发的过程。
利用批量任务或者ETL的方式创建数据集市和数据仓库的方式由于实时性不好，在很多应用场景中被数据联邦技术所取代。
一些企业由于业务发展数据模型处于不断变化改进的阶段，由于数据联邦没有实际数据，因此可以很快的适应这样的变化。
数据联邦可以很快速的开发抽象的数据服务接口。数字化转型网www.szhzxw.cn
提供统一的主数据视图：随着企业主数据管理的开始和发展，数据联邦提供了一种比较简便的集成解决方法。
缺点
由于访问数据是通过一个“联邦”视图（federation view）来实现的，视图是实时的，因此数据转换是一个重点，但是却无法解决数据质量和性能问题。随着企业数据量的增大，性能问题是所有数据集成（Data Integration tools）都面临的问题，但是由于设计思路的缺陷，数据联邦在这方面虽有很大进展，但是也无法和另外一些数据集成技术相比。
数据质量管控（data quality assurance）意味着数据规则（data rule）加载、数据检验(data validation)执行，这也不是“联邦”视图（federation view）解决现实数据集成问题的优先考虑的因素。
数据联邦（data federation）的缺点制约了它在数据集成领域的适用性，虽然很多领域都使用了数据联邦（data federation）技术，但是在关键的核心业务系统它的应用非常少。
适用场景
使用简单的有限的数据源，数据结果集不大，只读性的数据访问，数据质量要求简单。
对及时投入生产要求较高的应用，数据联邦允许应用直接访问数据，而不需要耗时较长的数据架构的调整。数字化转型网www.szhzxw.cn
如果数据安全性要求较高的企业，不允许对数据进行复制和备份的场景下，数据联邦是很好的解决方案。
要求实时访问数据，数据可以是结构化的，也可以是非结构化的。
数据经常变换的环境下，数据联邦是灵活性和扩展性高的解决方案。
不适用场景（或者风险较大的场景）
集成场景中包含复杂数据转换的，会由于数据转换会减低响应时间而带来负面的影响。
真实数据源服务器会的负载会有所增加。联邦服务器会把联邦视图分解为多个子操作，这些子操作会传送给数据源服务器，这些子操作越复杂这些源服务器的负载越大。
如果数据结果集非常大时，性能会降低。数字化转型网www.szhzxw.cn
对可用性要求较高的应用，由于数据联邦依赖于多个数据源，而这些数据源的高可用性是数据联邦技术无法保证的。
6.2中间件模式
中间件模式通过统一的全局数据模型来访问异构的数据库、遗留系统、Web资源等。中间件位于异构数据源系统(数据层)和应用程序之间，向下协调各数据源系统，向上为访问集成数据的应用提供统一数据模式和数据访问的通用接口。各数据源的应用仍然完成它们的任务，中间件系统则主要集中为异构数据源提供一个高层次检索服务。
中间件注重于全局查询的处理和优化,相对于联邦数据库系统的优势在于:它能够集成非数据库形式的数据源,有很好的查询性能,自治性强;中间件集成的缺点在于它通常是只读的,而联邦数据库对读写都支持。
典型的基于中间件的数据集成系统主要包括中介器和包装器,其中每个数据源对应一个包装器,中间件通过包装器和各个数据源交互。中介器的功能是接收针对全局模式生成的查询，根据数据源描述信息及映射规则将接收的查询分解成每个数据源能够处理的子查询，再将子查询发送到每个数据源的包装器。
包装器对特定数据源进行了封装,将其数据模型转换为系统所采用的通用模型,并提供一致的访问机制。中介器将各个子查询请求发送给包装器,包装器将这些子查询翻译成符合每个数据源的子查询执行,并把查询结果返回给中介器。中介器将接收的所有数据源的结果合并成一个结果返回给用户。
在Web Services的框架下使用一组Web Service协议构建信息集成系统。为中间件的数据访问接口创建一个Web Service,然后使用WSDL向服务中心注册。客户端首先向注册中心发送查找请求，然后通过SOAP协议调用数据访问接口，从这些数据源获取数据。这种方法具有完好封装、松散耦合、规范协议和高度的集成能力等特性。数字化转型网www.szhzxw.cn
该系统有五个核心模块：
（1）中间件配置模块：配置中间件和各个异构数据库的连接信息，包括数据库地址、登录用户名、密码、数据库名。
（2）查询分解模块：根据数据源描述信息及映射规则将接收的查询分解成每个数据源的子查询。
（3）子查询发送模块：分析用户提交的查询语句，从中找出该查询需要的数据源，然后到中间件的配置信息中查找相应的包装器，把连接信息和子查询发送到对应的包装器。
（4）子查询执行模块：子查询模块根据不同的数据库类型，加载对应的JDBC驱动程序，实现多个不同数据库的查询操作。数字化转型网www.szhzxw.cn
（5）查询结果重组模块：查询结果重组模块收集子查询的结果，这些结果是以DataSet的形式存在的，然后合并为一个大的DataSet作为最终的结果。返回给客户端时，根据DataSet生成一个结果XML文件给客户端，完成整个查询流程。
6.3数据仓库
数据仓库是在企业管理和决策中面向主题的、集成的、与时间相关的和不可修改的数据集合。该方法需要建立一个存储数据的仓库，定期从数据源过滤数据，然后装载到数据仓库。
声明：本文来自网络，版权归作者所有。文章内容仅代表作者独立观点，不代表数字化转型网立场，转载目的在于传递更多信息。如有侵权，请联系我们。数字化转型网www.szhzxw.cn
数字化转型网数据专题包含哪些内容
数字化转型网数据专题将关注数据治理、数据质量管理、数据架构、主数据管理、数据仓库、元数据管理、数据备份、数据挖掘、数据分析、数据安全、大数据、数据合规、等数据相关全产业链相关环节。
数字化转型网数据专题包含： 数字化转型网（www.szhzxw.cn）
1、数据相关外脑支持：100+数据相关专家、100+数据实践者、1000+相关资料
2、数据研习社：与全球数据相关专家、实践者共同探讨相关问题，推动产业发展！
3、国际认证培训：目前已引进DAMA国际认证CDMP，其他国内外认证也在逐步引进中
4、典型案例参考：与数字化转型网数据要素X研习社社员一起学习典型案例，共探企业数据落地应用
本文由数字化转型网（www.szhzxw.cn）转载而成，来源于网络；编辑/翻译：数字化转型网Jack。
