• 快捷搜索
  • 全站搜索

构建数据治理框架提升数据价值

2018-08-20 15:56:25作者:中国工商银行信息科技部 巩垒编辑:金融咨询网
本文从建立数据治理的组织、理清数据脉络、实现全方位数据校验和治理、实现数据资产可视化、用好海量数据服务于不同业务场景五个方面,提出了自己的思考与见解,并分享了相应的解决方案以及工商银行的实践经验。

行业背景:大数据时代下,一个企业掌握数据量的多少决定着这个企业的未来发展,而用好掌握的数据是给企业带来更大发展机遇需要研究的问题。大数据正在社会的各行各业发挥着越来越重要的作用。要充分发挥数据价值,首要解决的问题是做好数据治理。很多企业已经意识到数据治理是有效发挥数据价值、满足多方位业务活动开展的前提。

  应对措施:治理数据在精准营销和服务客户、有效控制风险、提升内部经营管理水平等方面有着不可估量的价值。构建数据治理框架并付诸实施,是实现数据有人管,数据可以看得到、理得清、存得准、用得好,真正发挥数据创造价值的良方。

建立数据治理的组织,负责数据治理的制度和规划

  随着数据治理工作逐渐被重视,企业需要一个数据治理职能组织,由专业的业务和技术人员组成。数据治理组织承担着数据管理者的职责,承担数据治理工作中规范和制度的制订,落实数据治理的工作,同时开展数据治理的相应研究和规划工作,以保障数据治理工作的顺利推进。 如图所示, 在数据治理组织架构下,工商银行形成了包括数据质量、数据标准等在内的一系列制度和管理办法,保证了数据治理工作的顺利开展。

图片2.jpg

将不同来源的数据进行有效整合,理清数据的脉络

  工作中,来自不同系统的数据对企业的经营分析造成了很大困扰,各类数据的来源和来向是管理人员常提出质疑的地方。例如银行在早期分析某一时间点客户的“授信使用率”时,客户信息需要在多个管理系统中循环交互,并要考虑各类信息在系统中的分析计算问题。多系统信息的交互,必然对数据的准确性、一致性提出了更高要求,微小的偏差都会导致分析和决策出现问题。

  企业在日常工作中运用大量的内外部数据,却不能有效地对数据进行整合,必然在使用过程中出现失误。如何对大量数据进行整合、按什么样的标准进行整合,都是数据治理中需要重点关注的内容。总体来说,以下几个方面是数据进行整合必须考虑的要点。

  1.建立数据整合的系统和模型是数据整合后能否有效使用的基础。很多企业组建了数据仓库,目的是进行数据整合和数据共享,实现企业级的数据利用。在进行数据仓库建设时,就要对数据整合的模型、数据整合的粒度进行考虑。例如在银行,对个人和企业账户是否整合至同一个实体的事例中,就要考虑账户拆分开就是集市,合并就是仓库的需求。要从不同角度来区别对待,选择合适的粒度进行整合。

  2.数据整合必须基于一定的数据标准。无规矩不成方圆,无标准则数据无法整合。不同来源的数据会存在很大的差异。因此必须要有一个企业级的数据标准来约束数据的各种要素,即使做不到各个源头标准的一致,也至少要在数据整合系统中能有统一的标准。

  3.错误和无效数据的识别和剔除是数据可用的保障。错误和无效数据是影响数据使用的另一个障碍,因此在数据进行整合之初就要对错误和无效数据进行识别,并将其剔除(或者进行标记)。

实现前中后的全方位数据校验和治理,将最准确的数据存在系统中

  大多数人对数据质量不太重视,要解决数据质量问题,必须从整个数据流程中全方位解决。

  1.从源头提前预防数据错误。系统设计之初要考虑全面才能保证数据的准确性,只有在设计时考虑到数据使用中的各种情况,包括业务需求、监管要求等,才能确保数据源头的正确。例如考虑特殊部门对数据的要求,在设计时要考虑相关字段不能为空;有些数据在设计时使用代码选择方式,就能够避免手工输入带来的可能错误等。

  2.从数据生成过程中保证数据正确。一些数据无法在生成时进行控制,要考虑其他办法解决,比如在数据产生过程通过校验来进行准确性和合理性的检查。控制数据长度,控制号码校验规则等来确保生成数据的正确性,这些方法都在一定程度上可以控制数据的正确性。

  3.在事后及时监测错误数据,并及时纠改。部分数据无法在事前、事中进行控制,只能通过事后监测和纠正来进行治理。例如验证不同系统中同类数据是否采用了一致的标准和规则,这些措施只能通过数据进入数据整合系统时才能实施。

  工商银行在2008年就开始建立数据治理体系,目前工商银行的客户信息(包括法人、个人)的完整率在99%以上,准确率达到92%,在商业银行中位居前列。

图片3.jpg

实现数据资产的可视化,实现数据看得到

  企业建立数据仓库等大数据的基础平台,并依托其提供分析挖掘服务,支持决策分析、精准营销、风险管理、客户服务等领域的工作开展,建立基于用户视角的数据资产统一视图,实现准确高效的数据展现、导航、应用等功能,是提升数据分析能力的首要条件。一般来说,成熟的数据资产视图,应该包括如下这些方面。

  1.支持多维度的数据分类展示方式。可基于用户视角进行个性化定制,同时能够提供数据的说明,例如数据包含的内容,数据用在什么场景等,解决“数据是什么”的问题。

  2.提供数据查询和检索功能。主要是对数据进行加工、管理,并形成语义信息,提供模糊和精准的搜索、关键词推荐等功能,帮助用户快速定位数据,解决“数据在哪”的问题。

  3.要能提供数据链路的信息。例如以可视化方式把数据从源系统到最终接口指标的整个路径给刻画出来,同时将数据的服务形成不同的构件或模型,能够满足不同人员的使用,解决“数据怎么用”的问题。

  工商银行已经建设了数据地图,实现了“数据看得到”。但是在“数据如何用”方面,仍在持续建设中。最终将通过完善元数据的管理,实现业务元数据、技术元数据、管理元数据、安全元数据的统一管理和有机结合,按照各种维度对数据进行管理、识别、定位、发现、评估和共享,实现数据资产“一表尽览”(如图所示)。

充分用好海量的数据资源,服务于不同的业务场景

  治理数据是为了使用,没有使用场景的数据治理是无本之木。因此,当数据治理完成后,如何用好这些数据,如何服务于不同的使用场景,这是拥有海量数据资源的企业必须考虑的事情。

  1.应用于客户服务。利用海量的内外部数据,构建客户分析模型,提供更个性化的客户服务。通过海量数据可以分析客户具体行为,勾勒出客户特征的“画像”,应用于营销、挽留、客户诉求的处理和产品的提升等。各家银行都在构建数据分析模型,以便形成客户“画像”,为客户提供个性化服务。

  2.实现高效的风险管控。利用丰富的大数据资源和大数据分析挖掘技术,全方位评估客户风险,有效提升风险管控水平。充分利用本企业客户的信息,综合外部数据,准确刻画客户的整体风险情况。对贷款人的数千个信息线索进行甄别,以确定客户是否具有更高的还款能力,降低贷款损失风险。银行已将数据治理应用在信用风险评估、精准营销等场景。

  3.提升企业经营水平。基于各类结构化、非结构化数据,利用大数据采集分析挖掘技术,提高企业经营管理能力。即使在企业内部,准确的海量数据也一样有用武之地,能够有效地提升经营管理水平,包括工作效率、绩效考核等等。一些大型银行利用大数据技术分析,发现一起享受工间休息并相互交流的员工工作效率更高,据此调整集体工间休息,此后员工表现提升了23%。这些数据给企业文化建设提供了良好的参考数据。

结语

  数据治理不是一个临时性的运动。从企业的业务发展、数据治理意识形成、数据治理体系运行角度,需要有长效机制进行保证。企业要从机构上层意识转变着手,强化数据治理的理念,通过营造数据治理的文化,确保数据治理的落实执行。尤其在大数据时代下,如果还本着先建设后治理的理念,不从数据的长远规划与规范管理着手,将会使脏数据、错数据不断滋生,会对数据的整合、共享、使用带来极大的阻碍。因此,必须要建设与治理并举,以数据应用为抓手,通过充分利用数据于业务管理和业务经营中,使业务部门切身体会到数据的作用以及数据问题对业务分析与决策的影响,促进数据质量的改造,推动数据治理的建设。

(文章来源:金融电子化杂志)

扫码即可手机
阅读转发此文

本文评论

相关文章