数字化转型网数据专题将关注数据治理、数据质量管理、数据架构、主数据管理、数据仓库、元数据管理、数据备份、数据挖掘、数据分析、数据安全、大数据、数据合规、等数据相关全产业链相关环节。
在理解主数据、解决数据问题之前,首先,我们要明确到底有哪些数据或哪几类数据?当然,数据按照不同维度、不同语境可以分为不同的类,比如结构化和非结构化化、交易和非交易数据、行业数据和公司数据等。从数据治理或信息化项目的角度,数据一般分为:数据元、元数据、主数据、参考数据、常规数据等。
数据(data):根据《信息技术数据元的规范和标准化》(GB/T18391.1-2002),数据是指对事实、概念或指令的一种形式化标示,适用于以人工或自动方式进行通信、解释和处理。
数据元(data element)指用一组属性描述定义、标识、表示和允许值的数据单元。在特定的语境中,可以认为是不可再分的最小数据单元,也可以直观理解为数据库表的列,对象、特征、表达是数据元的三要素,比如“今天股市收盘是2500点”数据元,其中“今天股市”就是对象,“收盘”是特性,“2500”是表达。
元数据(MetaData)指描述数据的数据,也指帮助查找、存取、使用和管理信息资源的信息。为便于理解元数据和数据元,作者举个例子,比如我们要向中证金融报送两融数据,数据报送接口规范中有许多表,每个表有许多列,每个列有填报要求比如类型、是否为空。每个填报字段可以认为是数据元,而每个填报字段的填报要求可以认为是该字段的元数据,而每个字段可以认为是该表的元数据。也即数据元和元数据本身也是数据,在不同的上下文有不同的定义和理解,本身都是个相对的概念,意识到这点才能很好理解两者的关系。现实中,元数据常见用于描述数据库中所有数据的语境,而数据元通常用在行业标准制定。
参考数据(reference data)指数据可能的取值范围及其解释,也即我们常说的数据字典。数据字典虽然很好理解,但行业现实中,由于每个系统有不同的数据字典,甚至同一系统内也有不同数据字典,而且没有统一标准,间接造就了大量的数据孤岛,也需要加强治理。
常规数据(作者自己定义),是与每日业务开展或每个业务人员最为关注的那些数据,比如交易、审计、采购订单、销售订单、报表等等数据,
主数据(master data),通常是不随或很少随时间变化的静态数据,并且与个体活动或流程无关,比如客户、证券标的、金融产品、会计科目等信息,这些信息构成了公司的业务。主数据掌控交易数据如何被处理并决定着决策的精准度。主数据管理,本质上是各业务人员利用IT工具进行协作,来协调、清理、发布和保护企业需要共享的数据资产,保证企业核心信息的一致、准确和安全。主数据也是大数据建设中的重点内容。
为便于大家只管理解四类数据区别,作者画了一个见图如下,