数字化转型网数据专题将关注数据治理、数据质量管理、数据架构、主数据管理、数据仓库、元数据管理、数据备份、数据挖掘、数据分析、数据安全、大数据、数据合规、等数据相关全产业链相关环节。
湖仓一体数据平台是实现企业业务数据资产化和数据资产价值化提供数据管理、使用、运营、合规的基础平台，成为数据生产要素市场化的有力支撑。企业需要一套数据工具软件来支撑数据治理组织的日常工作机制，落实数据标准，管理数据全生命周期的流程，从源头数据的采集、到数据汇聚、到数据加工、到数据应用，使数据使用者和数据供应者对数据有个一致性的理解，促进用数据进行运营、用数据进行管理。数据治理工具对数据治理进行支撑是必不可少的。数据治理系列工具可以实现对数据治理组织、数据标准、主数据、指标数据的有效管理。
图21企业数据平台架构图
工业大数据治理需要多种数据治理工具软件的支撑，包括以主数据为核心的套装软件、以数据资产目录为核心的数据资源管理工具、以元数据和数据模型为核心的数据中台，此外，数据交换与服务平台属于中间件，IT技术人员要熟练驾驭。时序数据记录了工业过程，支撑工艺与质量控制等。这些工具互有侧重，需要根据实际需求予以剪裁。湖仓一体大数据平台是近几年出现的一种数据架构，它把面向企业的数据仓库技术与数据湖存储技术相结合，同时吸收了数据仓库和数据湖的优势，使数据分析师和数据科学家可以在同一个数据存储中对数据进行操作，同时，它也为公司进行数据治理带来更多的便利性，为企业提供一个统一的、可共享的数据底座。
图22数据治理平台与大数据平台内在关系
- l 数据治理平台是企业数据规划、数据标准落地的载体，实现数据治理统一标准、统一规则的支撑。
- l 数据治理平台是有效实施主数据、元数据、数据指标管理，提供规范统一的数据服务的平台。
- l 数据治理平台是实现数据从产生到应用，分层协同、全面治理的核心。
1）数据治理平台：数据治理的加工工艺
企业数据治理工具一般包含数据治理门户、主数据管理、数据指标管理工具、元数据管理工具、时序数据管理工具、数据模型工具、数据交换与服务工具、数据资产运营工具、数据质量管理工具、数据安全管理工具等部分。
图23 基于PaaS平台，微服务架构，实现一体化的数据治理平台
1．工业数据治理门户
工业数据治理门户是工业企业数据治理组织的工作平台，用于定义数据治理组织的工作流程和工作标准，包括组织架构、制度规范；发布各类数据标准，包括主数据、数据指标等；评估数据治理组织绩效和数据质量；查询基于知识工程的知识库。
2．数据资产运营工具
数据资产运营工具包含数据资产目录工具和数据资产价值评估工具。数据资产目录，也被称为数据资产地图，支持用户按照自己的业务需求和企业标准，构建企业级数据资产目录，实现对海量数据进行梳理和归类和数据资产的全面盘点，为用户提供完整的数据资产视图，并提供数据资产展示、交换和共享。数据价值管理主要通过对数据内在价值的评估、数据成本和收益的管理来实现。在工业领域，通过数据资产目录工具，可以让数据拥有者直观、清晰地掌握所拥有的信息资源；数据使用者也可以通过数据资产目录发现自己所需要的数据现状，并发出需求申请。通过对数据资源的梳理与编目，为数据的挖掘分析和开发运用提供了准确、全面的数据支撑。数据资产目录在数据治理解决方案中属于非必选项，但在数据资产管理解决方案中属于必选项。
3．数据模型管理工具
数据模型管理工具是企业数据模型的管理、比对、分析、展示的技术支撑，用于提供统一、多系统、基于多团队并行协作的数据模型管理，解决企业数据模型管理分散、无统一的企业数据模型视图、数据模型无有效的管控过程、数据模型标准设计无法有效落地、数据模型设计与系统实现出现偏差等多种问题。在工业领域，企业架构与数据架构往往在一起构建，核心业务流程、业务对象、业务活动定义先在数据架构中逐步落地，然后映射到数据的逻辑模型，之后落地到物理模型。
4．数据指标管理工具
数据指标管理工具用于管理数据指标标准，包含数据指标信息维护、数据指标治理及指标应用等功能，用以打通指标、元数据、数据质量、数据标准各子模块的关系，确保数据接入规范、标准统一，数据质量可控、数据可用。
5．主数据管理工具
主数据管理工具用于定义、管理和共享企业的主数据信息，可通过数据整合工具或专门的主数据管理工具来实施主数据管理。主数据管理工具具备企业级主数据存储、整合、清洗、监管及分发5大功能，并保证这些主数据在各个信息系统中的准确性、一致性、完整性。
6．元数据管理工具
通过元数据管理工具可以了解数据分布及产生过程。该工具是针对元数据管理职能而开发的。元数据管理已经深入数据的物理模型。工业数据领域的元数据管理组件往往根据具体项目来进行定义。
7．时序数据管理工具
时序数据管理工具用于物联网、车联网、工业互联网领域中的过程数据采集、过程控制，并与过程管理建立一个数据链路，属于工业数据治理的新兴领域。从工具维度看，时序数据管理工具与传统时序数据库差异很大，后者局限于车间级的可编程逻辑控制器，而非企业级。
8．数据质量管理工具
数据质量管理工具从数据使用角度监控、管理数据资产的质量，是针对数据质量管理职能而开发的，以实现数据全生命周期的质量管理。其能根据标准规则配置数据质量检查策略，通过调度中心实现数据质量的检查，发现问题数据，以及将问题数据分派给相关人员修正，并能根据需要形成数据质量评估报告和问题处理报告等。
9．数据交换与服务工具
数据集成交换工具是一系列数据技术工具的集合，涉及采集、汇聚、加工、共享等多个环节，是支撑其他数据治理工具的中间件，被广泛应用于源系统的数据采集、系统之间的数据交换、多源头数据的汇聚与加工等，属于PaaS层中的一系列组件。数据交换与服务工具的搭建，除要考虑技术外，还要考虑到工业数据治理的长远战略。
10．数据安全管理工具
数据安全管理工具是结合信息安全的技术手段，保证数据资产在使用和交换共享过程中的安全。其中包括数据采集管理、数据传输管理、数据存储管理、数据处理管理、数据交换和共享管理、数据销毁管理6类工具。
2）湖仓一体大数据平台：数据的加工工厂
由于湖仓一体大数据平台承载了越来越多的目标功能与价值期待，其所包括的功能模块也越来越复杂、多变，我们将湖仓一体大数据平台通常所包括的功能以及基本的层次关系简要地利用下图来概括，并对主要功能模块做简要描述。但在实际实施过程中，很多模块并非如图所示的泾渭分明，往往是相互交织渗透，牵一发而动全身。湖仓一体大数据平台通过对企业内、外部多源异构的数据采集、存储、计算、分析挖掘、数据服务、应用与可视化、作业调度、治理及集成开发环境门户等，使数据在企业内部可以优化管理，在企业外部可以释放数据合作价值，是企业数据资产管理和服务的中枢。湖仓一体大数据平台技术起源于B2C互联网平台的应用。在数字化转型的大趋势下，湖仓一体大数据平台在工业领域中的应用迅猛发展，本篇把湖仓一体大数据平台解读为工业数据的应用平台，是数据治理平台服务的对象，因为数据从采集到处理的整个过程中都会产生成本，只有被应用才会创造出价值。
图24大数据平台的主要功能框架图
以上对大数据平台的主要功能模块进行了简要概述，每种功能的实现，既可以由组织自行开发，也可以从现有成熟技术、商用或开源工具中选择，目前常见的工具简要归纳如图，但由于技术的快速迭代发展，图中的信息也在不断更新中，仅作为参考。
图25大数据平台主要技术及工具
数据平台的概念几经变化、沉淀，经历了理想阶段、理论阶段，现在基本进入了理性的发展与落地阶段。大数据平台一方面在数字化转型的趋势下迎来快速成熟发展、大显神通的时代，另一方面也面临着技术变化、经济环境发展、监管力度加大、管理要求提升、人才紧缺的各种挑战。数字经济的到来已势不可挡，大数据平台的建设也在机遇和挑战中成为众多机构、组织、企业必须完成的任务。我们所需要的就是明确自己的方向，选择一条路径，以开放创新、不断学习的开拓者心态和严谨缜密、笃定务实的工匠精神来建设适合自己的大数据平台。
声明：本文来自网络，版权归作者所有。文章内容仅代表作者独立观点，不代表数字化转型网立场，转载目的在于传递更多信息。如有侵权，请联系我们。数字化转型网www.szhzxw.cn
数字化转型网数据专题包含哪些内容
数字化转型网数据专题将关注数据治理、数据质量管理、数据架构、主数据管理、数据仓库、元数据管理、数据备份、数据挖掘、数据分析、数据安全、大数据、数据合规、等数据相关全产业链相关环节。
数字化转型网数据专题包含： 数字化转型网（www.szhzxw.cn）
1、数据相关外脑支持：100+数据相关专家、100+数据实践者、1000+相关资料
2、数据研习社：与全球数据相关专家、实践者共同探讨相关问题，推动产业发展！
3、国际认证培训：目前已引进DAMA国际认证CDMP，其他国内外认证也在逐步引进中
4、典型案例参考：与数字化转型网数据要素X研习社社员一起学习典型案例，共探企业数据落地应用
本文由数字化转型网（www.szhzxw.cn）转载而成，来源于网络；编辑/翻译：数字化转型网默然。
