• 快捷搜索
  • 全站搜索

国开行:探索元数据管理新思路

2014-06-24 18:24:26作者:国家开发银行信息科技局 滕光进编辑:金融咨询网
本文分析了元数据、主数据和数据标准的关系,探索银行业元数据管理新思路,提出了“基于元数据管理实现企业级数据管理”的实施方法,并结合国开行实践进行经验分享。

一、元数据管理和主数据管理、数据标准管理的关系

        元数据管理是数据管理各项工作的核心,是主数据管理的基础组成,也是数据标准实施的载体。

        主数据是各系统间共享的重要业务基础数据。主数据管理作为数据管理的高级形式,通过对重要业务数据的共享与同步,实现了数据管理与数据应用的有机结合。目前业内的主数据管理,通常是以银行业务中最重要客户、产品为目标,实现相关数据的集中管理与共享同步。

        除建立相应的主数据系统外,可以由元数据管理实现主数据管理功能。首先,通过数据标准实现主数据的定义,将数据标准按照客户、产品、协议等主题进行分类定义,在明确每个标准信息项的业务属性和技术属性同时,设置“数据主系统”属性,明确每一项数据共享的主系统。其次,通过数据标准在系统开发过程的落地,确保数据接口的取数逻辑符合数据主系统定义,满足数据共享的准确一致。最后,通过数据标准在元模型的落地和企业级元数据库管理,实现对主数据定义的统一管理。

        数据标准是为了保证数据定义和交换的一致与准确而制定的规范性文件。对于数据标准管理,可以基于元数据管理实现标准的动态闭环管理,一方面在元数据设计过程中落地数据标准,并在数据模型上线前,通过元数据审核功能检验数据标准落地情况;另一方面,通过元数据的设计发现标准的缺失和不足,从而推动标准的制定与完善。此外,通过建立与业务和技术元数据的标准映射,搭建了业务和技术之间的桥梁,为全员参与数据管理提供了支持。

二、基于元数据的数据管理探索

        1.元数据管理的本质

        元数据是关于数据的数据,描述了数据的定义和属性。传统的元数据管理过程,有些仅仅将元数据管理当做简单的工具,仅实现了元数据信息的浏览和分析;或虽实现了元数据的部分管理,但视角较单一,仅仅从技术角度出发,而忽略了银行不同工作领域的需求。在明确元数据管理概念时,我们需要回归到元数据管理的真正需求,回归到银行数据管理本身。只有通过对银行数据管理工作领域的梳理和归纳,我们才能还原出元数据管理的真正对象,元数据管理才能做到脱离简单的工具变为管理和服务的平台。也只有如此,元数据管理才不会变为无源之水,无本之木。

        因此,可认为元数据管理的本质是通过元数据管理实现各类数据管理手段的回归,实现数据管理的统筹。

        2.元数据管理的实现

        基于我们对元数据管理方法的探索,将元数据管理、元数据应用和数据管理工作等三部分内容有机结合,形成动态、闭环、螺旋上升的完整体系,如图1所示。

        (1)元数据管理
        元数据管理厘清了元数据之间的关系与脉络,规范了元数据设计、实现和运维的全过程,为元数据的应用奠定了坚实基础;同时,元数据的有效管理搭建了业务与技术桥梁,为系统建设、系统运维、业务操作、管理分析和数据管控等工作的开展提供了重要指导。

        从元数据管理的内容出发,需要将业务元数据、技术元数据和操作元数据等三方面有机结合。通过业务和技术元数据的映射并结合操作元数据管理,建立银行工作领域与元数据设计、实现和运维之间的关系,最终形成元数据管理的主体框架。

        元数据的设计阶段,应通过统一的设计规范并完成数据标准落地工作;元数据的实现阶段,要对元数据开发实现及标准落地情况进行检核并记录上线版本;元数据的运维阶段,要对运行态的元数据定期进行比对分析,掌握实际情况。通过对元数据不同阶段的协调统筹管理,将实现元数据的动态管理,保证及时、客观、准确地反映元数据现状。

        (2)元数据应用
        元数据应用为数据管理工作提供服务和支持,同时也会优化和完善元数据管理的相关内容。元数据应用包括元数据基础功能、元数据分析和元数据质量管理等三部分。

        元数据基础功能主要指支撑元数据系统运行的基础应用,主要包合元数据维护、元数据查询、元数据版本管理、元数据统计、元数据使用情况统计等功能。

        元数据分析主要包含血缘分析、影响分析、实体关联分析、实体差异分析、主机拓扑分析和指标一致性分析等功能。通过元数据的影响分析和血缘分析,清晰展现了各应用系统的全局框架,为系统架构设计、应用开发测试、版本发布等工作提供了可靠的支撑;通过实体关联分析、实体差异分析可以了解实体的重要程度以及实体之间的关联性和差异性,为需求变更提供影响评估,并为业务定义的统一提供支撑;指标一致性分析可以帮助用户更好地了解指标加工的来龙去脉,清楚理解指标定义。

        元数据质量管理的主要目标是提高元数据自身的质量,建立有效的元数据质量检查机制,及时发现、报告和处理元数据的质量问题。元数据质量检查包含但不限于以下内容:元数据一致性、元数据关系的健全性、元数据属性的填充率、元数据名称重复性、元数据关键属性的填充率和元数据关键属性值的唯一性。元数据质量管理能够生成详细的检查报告供相关人员使用。

        (3)数据管理领域
        数据管理工作领域包括系统建设、系统运维、业务操作、管理分析和数据管控等五部分。数据管理各领域既是元数据管理和应用的需求方和服务对象,也能促进和优化元数据管理和应用工作。元数据管理和应用对数据管理工作五个领域的指导和支撑作用如下。

        系统建设:企业级元数据管理不仅可以规范IT建设流程,提高设计开发质量,也有助于开发人员了解数据交互情况,为系统间的接口开发提供支持。

        系统运维:通过操作元数据管理,掌握系统间作业调度和ETL(数据抽取、转换和加载)过程,为跑批任务监控、异常预警和定位及影响分析提供有力支持。

        业务操作:简化业务人员的数据查询工作,可便捷找到所关注的业务元数据在系统中对应的数据项,并了解相关业务元数据的系统分布和使用情况。

        管理分析:便于业务分析人员明确统计口径、选择恰当的分析数据项,有助于各部门实现灵活、丰富的自助数据统计和分析工作。

        数据管控:显著提升数据管理水平,直观展现数据全貌与脉络地图,为数据质量问题的快速定位、数据管控措施的影响性分析和数据标准落地等工作提供重要支持。

三、国开行元数据管理的探索与实践

        国开行自2009年启动元数据管理工作以来,已逐步形成以管理办法为指导、数据标准为保障、系统支持为手段的元数据管理体系。

        1.发布元数据管理办法

        2010年5月发布的《国家开发银行元数据管理办法》规定了元数据管理的范围、内容和流程,明确了元数据设计、开发、采集和使用各环节的相关方责任,制定了IT系统新建和变更时的元数据审批流程,对元数据管理工作的有效开展提供了重要指导和规范。

        2.制定并执行数据标准

        要保证元数据定义的科学、统一,就要坚持“标准先行”。国开行数据标准的内容分为业务和技术两部分,为业务元数据和技术元数据的贯通奠定了基础。业务部分对数据进行了统一的业务定义,包括数据项的业务涵义和数据项处理加工过程中应遵循的业务规则等,并明确了数据项的归口业务部门;技术部分从对数据的技术属性进行统一规范和定义,包括字段长度、数据格式等。目前,国开行已经制定完成了客户、产品、交易、协议、财务、资产、营销、渠道、内部机构和员工等九个主题的2623项基础类数据标准和1068项分析类数据标准,基本满足了元数据定义和设计的要求。

        对于数据标准落地执行,我们坚持标准在业务和技术领域的同步落地。一方面,推动数据标准在各类业务开展与创新、业务制度和操作手册的编写中落地;另一方面,将数据标准落地与元数据设计紧密结合,通过发布《数据标准在IT系统落地细则》,明确了系统设计、开发过程中的标准落地要求和执行方法,并通过上线前的数据模型审批,确保标准落地质量。此外,建立了标准落地问题反馈机制,形成了落地工作对标准制定维护的促进和完善机制。

        目前,国开行已在核心系统、全流程信贷系统、中小企业贷款系统、客户关系管理系统和数据仓库等重要IT系统以及和其相关联的37个周边系统中完成1735项标准落地,标准实施覆盖了开行90%以上的业务以及全部关键IT系统,同时开展了客户、产品、内部机构及行业代码的专项落地工作,点面结合,有效地保证了系统间的数据规范性和一致性。

        下一步我们将持续完善数据标准,优化标准信息项与数据库实例的对应关系,明确信息项的主系统,在逐步通过数据标准实现主数据管理职能的同时实现标准落地工作的自动检核。

        3.建设数据管理系统

        经过几年建设,国开行已建成以元数据管理、数据标准管理和数据质量管理为主要功能的数据管理系统,实现了对重要生产系统、ODS和数据仓库、部分管理分析类系统的元数据采集与管理,支持全行数据模型审批、数据标准和数据质量考核等工作。

        目前,随着数据管理工作精细化要求的不断提高,正在对该系统进行升级改造,建成以企业级元数据管理为基础和核心,实现全员参与数据管理工作的IT支持平台。一是扩展元数据管理范围,逐步实现对全行各类IT系统元数据的统筹管理;二是完善元数据管理流程,通过建立统一的元数据开发模块和上线审批机制,对数据跑批作业和ETL过程的监控调度以及定期的IT系统元数据比对更新,实现对全行元数据的动态更新和地图展现;三是提升元数据管理与数据标准管理、数据质量管理、数据管控审批和数据归档等功能的融合与集成,实现数据的全生命周期管理。

(文章来源:《金融电子化》杂志)
 

扫码即可手机
阅读转发此文

本文评论

相关文章