• 快捷搜索
  • 全站搜索

云南农信:大数据助力明智决策

2014-05-04 11:48:09作者:云南农信联社主任助理 谭元戎 云南农信联社科技结算中心 徐乙编辑:金融咨询网
云南农信开始在数据分析平台之上构建多指标体系的经营决策支持系统。其对数据的应用分析已不再局限于银行的内部数据,而是开始多渠道收集整合银行内部与外部数据,构建大数据分析平台,实现数据分析的多维化。

云南省农村信用社作为全省规模最大的金融机构,较早对如何整合银行内部各交易系统数据,构建数据分析平台,为银行在客户分析、产品营销、经营管理及金融创新等方面提供数据支持进行了实践研究。通过在数据分析平台之上构建多指标体系的经营决策支持系统,为银行管理层、客户经理等提供日常经营指标、客户分级、资产状况等决策支持信息。为适应未来发展,云南农信对数据的应用分析已不再局限于银行的内部数据,而是开始多渠道收集整合银行内部与外部数据,构建大数据分析平台,实现数据分析的多维化。

一、重新规划数据应用架构

  自2009年起,云南省农村信用社整合了行内包括核心业务系统、信贷管理系统、财务管理系统、网上银行系统、贷记卡系统等30多个交易系统数据,开始构建自己的数据分析平台——操作型数据存储(ODS)。作为企业级的基础数据平台,ODS承担着全行数据整合、数据治理、数据分析、数据交换及数据服务等重要职能。2011年,在ODS积累了大量业务数据以后,云南农信重新规划了全行数据架构,采用ODS+DW的模式。ODS仅存放最近6个月的交易数据,将长期的交易数据从ODS进行剥离,放入数据仓库中进行历史数据归档,构建历史信息查询、司法查询及风险数据建模等应用模块,并着眼于未来发展,将银行外部数据及非结构化数据采集、存储与应用也进行了统一的规划。数据应用架构如图1所示。

大数据助力明智决策-图1.jpg

  1.数据缓冲区(STA)

        保存由其他系统及外部系统接入,需要集成到数据仓库中的各种以文件形式保存的源数据,保存由统一数据采集模块采集自其它系统的同步落地数据文件,保存为目标系统提供的落地数据文件。分为源数据区(STA-S),目标数据区(STA-T)两个子区域。文件系统按照子区+系统+数据日期批次的目录方式进行组织。

  2.标准源数据区(SDM)

        按照源系统组织贴源的、经过标准化处理后的标准源数据。SDM中将包含以下子数据区域:

        准实时数据区:保存从源系统实时/准实时采集增量的数据,数据结构贴源,为实时数据仓库和批量装载提供了数据准备。

        快照数据区:保存状态和参数类源数据的最新全量数据和数个时点数据快照,保存短期内的交易明细数据和渠道流水数据。数据结构贴源,经过清洗检核和标准化加工。

  3.实时数据仓库区(RTDW)

        保存应用所需的快照数据(账户、客户等)、明细数据和数据仓库或各类应用产生的汇总数据等,提供基于索引的联机查询访问,支撑操作型应用的数据访问需要。

  4.分析型数据仓库区(ADW)

        为满足管理分析应用需求,保存对原始数据进行跨系统集成,形成按照主题组织的细节数据和共性的汇总数据。分析型数据仓库由细节数据区、轻度汇总数据区和公共指标数据区三部分组成。细节数据区(FDM),保存按照主题进行组织,进行跨系统集成后,形成了统一数据视图的细节数据;轻度汇总数据区(ADM-A1),保存各最小汇总维度(如账户、渠道终端等)的汇总数据;公共指标水区(ADM-A2),保存各种公共维度(客户、机构、渠道等)上的,多种应用有共性需求和统计口径的汇总数据。

  5.非结构化数据区(USD)

        保存全行非结构化数据的索引、摘要信息、具体数据细节信息。非结构化数据的索引和摘要信息采用数据库保存,数据的具体细节信息采用文件系统保存。

        多维数据区(MDA):按照业务主题(如风险、客户管理、财富管理等)组织数据,形成面向业务的多维数据。

        实验数据区(LDA):保存为模型验证、数据压力测试等提供所需的各类数据,实验数据可来自于其他任何一个分区,用户也可以根据自行定制所需的数据模型。

        归档数据区(HDAS):支持历史数据存储和访问。由原始数据访问区和归档数据区两部分组成。归档数据区,根据数据生命周期策略,对来自数据源和各数据功能组件的数据进行归档;原始数据访问区,保存数据源一段时期内(例如1-2年)的原始数据,包括特定时点(月末、年末)的业务截面数据以及业务过程明细数据,以支持内部审计、司法查询、客户明细查询、下级联社数据查询等应用需求。

        同时,在基础数据分析平台构建过程中,还包括批量数据交换总线(DSB)、数据调度与监控管理平台、元数据管理平台、数据集成开发平台、数据质量管理平台、报表集成平台等六大功能组件,为经营决策支持系统等数据应用系统的建设提供强有力的基础设施。

        在硬件配置方面,采用Oracle Exdata X3数据库一体机作为数据库服务器,容量45TB,可满足未来5年数据存储需要,同时采用IBM云平台级的高性能PureFlex搭建ETL数据加工集群和应用服务器集群,满足数据高效加工和数据访问服务,同时便于服务器的横向扩展,主要软硬件配置规划如表1所示。

大数据助力明智决策-表1.jpg

二、设计开发经营决策支持系统

        云南省农村信用社经营决策支持系统是以辅助领导层决策、提高经营管理水平和提升客户服务水平为目的而研发的管理决策信息系统。经营决策支持系统作为数据应用系统,依赖银行内交易系统数据的全面整合,需要构建全行统一客户视图、统一机构视图、统一产品视图的标准化企业级基础数据平台提供数据支持。经营决策支持系统采用先进的分层结构和基于SOA架构设计理念,建立数据服务、文件服务、应用服务等多个服务组件。其体系架构包括基础设施组件、ODS基础数据平台、应用服务系统等,逻辑架构如图2所示。

大数据助力明智决策-图2.jpg

 1 2 下一页 尾页

扫码即可手机
阅读转发此文

本文评论

相关文章