• 快捷搜索
  • 全站搜索

核心银行系统日志分析平台的实践与探索

2018-01-16 16:03:31作者:中国银行软件中心 许翔编辑:金融咨询网
核心银行系统拥有的运维数据,既包括系统层面有关资源消耗的性能特征日志,还包括业务层面事关客户、账户的交易明细日志。使用数据分析工具,结合数据分析方法,深入挖掘海量数据背后所蕴藏的价值,不仅可以提高信息系统支持能力,还能够不断增强金融服务效能,最终达成提升客户体验的运营目标。

中国银行的信息化体系已基本覆盖行内所有业务场景,数据作为各项业务活动的重要载体,以电子化的形态存储于海量日志之中,其价值不可估量。核心银行系统拥有的运维数据,既包括系统层面有关资源消耗的性能特征日志,还包括业务层面事关客户、账户的交易明细日志。使用数据分析工具,结合数据分析方法,深入挖掘海量数据背后所蕴藏的价值,不仅可以提高信息系统支持能力,还能够不断增强金融服务效能,最终达成提升客户体验的运营目标。下面以中国银行核心银行系统日志分析平台为例,介绍日志数据在辅助运维方面的应用实践以及在数据运营方面的探索。

一、日志分析平台的建设背景与技术特点

        1 平台建设背景

        核心银行系统部署在主机环境上,该系统交易量大,日志记录复杂度高,其日志数据会占用较多存储资源;同时,伴随着交易量的增加,对业务日志的各种查询需求也越发多样化和复杂化。为了减少累积的日志数据对主机存储资源的压力,降低日志查询对主机运算资源的占用,目前在主机上仅保留最近的交易日志,其他日志备份到主机磁盘带库上,这种策略保障了核心系统的服务能力,也提高了系统资源的使用效率。

        但是,从检索的角度上考虑,查询备份后的日志相对比较困难。首先,交易日志最初存放在数据库中,具有固定的表结构,因此在从主机带库上恢复日志的时候,先决条件就是需要一个具有数据库表结构定义的主机环境,这往往与其他工作竞争资源、产生冲突;其次,在日志分析中,经常有查询多天日志的需求,只能通过多次从主机带库恢复数据解决,查询效率较低;最后,由于数据量较大,完整恢复一次数据也需要数个小时,不利于维护人员分析处理问题。

        上述这种工作流程,直接或间接地制约了日志分析的工作效率。为了提高工作的创新能力,支持快速响应的维护体系建设,同时满足复杂的、多变的日志检索诉求,特建立了以核心银行系统交易日志为基础的日志分析平台。

        2 平台架构简介

        该平台在AIX环境下实现,使用了开源软件和多种脚本技术,利用数据库外表机制,将日志以文件形式保存在AIX的文件系统内,因此达到了长期保留交易日志的目的,这样一方面可以减少对数据库存储的压力,另一方面,也满足了对多天数据同时的检索需要。

        日志分析平台由源数据采集、数据转换、日志分析及运维应用四部分构成。源数据采集是在每日批处理完成后,提供上一会计日的交易日志全量;数据转换是根据源日志的特点,经过多轮次码制转换和格式整理,最终以文本方式将日志数据传递至日志分析;日志分析模块通过建表和加载,将文本数据转变为结构型数据,并且提供sql查询接口;运维应用,是根据各种维护类需求,从业务层面提供多维度统计数据,并且通过报表形式展示。平台架构如图1所示。

图片1.jpg
图1 核心银行系统日志分析平台架构

        3 平台技术特点

        日志分析平台是以核心银行系统交易日志为基础,以银行机构、柜员等基础信息为辅助,经过转换、清洗、加载,对数据进行分析并生成统计报告,最终服务于核心银行系统日常维护的数据平台。该平台层次分明,横向扩展灵活,能够有针对性地解决海量数据的获取、加载、检索和分析需求。主要包括以下特点:

        逻辑集中,层次清晰。日志分析平台由四个子模块构成,子模块间接口设计规范,耦合度低,可分别进行独立设计,有助于集成测试和排查问题。

        智能加工,自动化处理。日志分析平台能够完成自动创建数据库外表,自动执行源数据的清洗、转码、保存文件,自动扫描监控关键字,实现数据分析流程的全自动化。

        协调灵活,动态扩展:日志分析平台参数配置灵活,在不影响日志检索的基础上,支持计算、存储等软硬件资源的动态扩展,可满足不断增加的业务需求。

二、日志分析平台的应用与实践

        日志分析平台实现后,给运维人员提供了核心银行系统交易日志的查询接口,实现了过去六个月数据的即时查询,满足了各维度的检索需要。在此基础上,不仅有助于快速解决工单问题,提升客户体验,也能够对重点日期、重要渠道等方面深入分析,通过横向和纵向比较,提升预防性维护的水平。

        1 提升交易分析效率

        日志分析平台通过对交易日志文件的压缩处理,节省了存储空间,在不影响分析性能的前提下,能够保留全量日志文件。这不仅改写了过去为查询某日的交易明细导致资源消耗大、处理周期长的历史,同时还通过定制多种业务场景、交易种类、参数配置下有效数据的提取和解析方案,极大提高了问题处理的效率。自平台应用以来,通过查询交易日志,已协助维护人员定位和解决数百个工单问题,获得了普遍的认可。

        2 助力系统运维

        通过日志分析平台,可以获取特定日期各主要渠道的交易分布情况,能够发现各种场景下的热门交易和热点账户,从而及时洞察银行各类客户的活跃程度,有助于提高信息系统运维的主动性,增强应急处置过程的有效性。

        通过交易日志数据,采用多角度的统计学方法,使用自然增长预估等方法,结合过往交易高峰的变化趋势,结合真实数据的监督修正,可以较准确的预测下次交易高峰的峰值和增速,并形成预估报告。日志分析平台已将上述系列操作固化成完整、自动化的流程,不仅减少了重复性工作,也保障了预估报告的实效性和准确性。基于这一预估报告,信息科技部门能够以系统资源调配和业务模式调整两方面为抓手,一方面做好系统的适应性调整,另一方面也及时和业务人员沟通,做到有的放矢保障重点时段的系统平稳运行。在近几次电子商务公司促销保障工作中,该平台的交易预测功能也发挥了较大的作用。

        3 提高系统建模效能

        通过日志分析平台可以便捷地获取真实的性能指标,如响应时间、峰值交易量、I/O变化、渠道分布等。通过全量日志数据还可获取真实用户的网络拓扑,可以结合云测试构建更加真实的测试环境,提高系统测试的有效性,节省构建大规模有效测试数据的成本。在此基础上,已经对核心银行系统进行了参数优化,提高了资源使用性价比,另一方面,通过该平台生成了系统性能分析报告,对系统压力测试的步骤和交易配比提供了参考。

三、日志分析平台的扩展与探索

        目前,核心银行系统日志分析平台已经实现了自动化的日志数据获取、分析和呈现。为更大程度发挥日志分析平台在系统优化、业务拓展方面的推动作用,未来还将从如下三方面着手,开展更深入的探索。

        首先,基于现有平台继续研究和整合数据分析技术,提升分析能力、扩展分析范围;其次,分析运营数据,直观展示银行运营的效果,辅助业务部门合理分配资源,提升运营质量;再次,通过分析大量的交易数据,细分用户群体、提升业务效率,提高主动服务的能力。

        1 扩展日志平台的应用,提高数据分析水平

        (1) 扩展数据源,丰富大数据分析维度

        一般情况下,业务系统的数据存放在不同数据库中,相对分散的存储位置不利于数据的综合分析。将来计划把核心银行系统交易日志与其他相关系统的日志联系起来分析,实现完整的、统一的数据分析仓库。通过多系统、多渠道业务数据的集中和整合,使得对数据的多样化和复杂化分析成为可能,从而大幅提升科技服务业务的效能。

        (2) 建立分布式存储,满足大数据应用需求

        大数据是重塑金融业竞争格局的重要支撑,大数据的应用水平也将成为金融企业打造差异化竞争优势的重要支柱。目前该日志分析平台已经具备了一定的数据处理能力,但在未来爆炸式的数据量增长面前,尚存在很大的优化空间。后期可利用分布式存储技术,使用集群应用、分布式文件系统等功能,将网络中各种不同类型的存储设备集合起来协同工作,共同对外提供数据存储及业务访问功能,在提升系统I/O性能、数据高可用性的同时,有效降低存储成本。

        (3) 培养复合型人才,建立大数据应用专业队伍

        专业的平台需要配备专业的人员。未来的人才培养需要丰富系统运维人员的技能,在拥有维护生产系统的技术能力之外,还需要具有大数据分析的素养和能力。从而建设专业化程度较高的数据分析团队,培养数据分析能力、业务分析能力、系统性能调优能力相结合的复合型人才队伍。

        2 运用大数据可视化技术,分析业务运营情况

        银行每天产生的海量交易数据中,包含了大量可以用来判断运营效率的数据,如实体交易网点的交易量、客流量、柜员的服务工作效率等。通过有目的的收集、组织和分析这些数据,能够多角度综合展现银行各个营业网点的运营能力。

图片2.jpg
图2 北京市网点交易量分布

        未来计划进一步研究大数据可视化技术,使得日志分析平台更好地为金融业务服务。图2是基于日志分析平台绘出的北京市各网点交易量分布图,该图通过统计一段时间内所有机构的交易量,以“热力图”形式直观展现北京辖内各支行的交易量情况。通过此应用,一方面可以从总体上了解区域交易量变化,掌握辖区内各分支机构的客户饱和度,另一方面还可将网点级的交易量分析与市场分析相结合,能够帮助管理者对市场营销相关业务额度发放、人力资源配置等方面做出更优决策。此外,该应用还可以辅助规划出行路线、避开“热门”网点,为客户办理业务时选取实体网点方面提供参考。

        3 分析交易行为数据,助力业务流程优化

        通过挖掘真实交易数据,为业务流程优化提供建议及其参考依据,是信息科技部门的重要工作之一。譬如目前在特定业务场景下,需要综合使用多支交易,不但需要柜员逐次输入交易码,还可能需要顾客频繁输入账户密码,耗费大量时间。针对这种情况,我们可以通过分析日志流水中每笔交易记录,梳理出以特定规律组合的原子交易集,向业务和开发部门提供针对特定场景的更流畅的交易流程设计方案。

        总之,未来信息科技人员可以凭借日志分析平台这一工具,主动对信息系统的运行状态、交易特征等数据进行分析,挖掘出有益于提升信息系统可用性、可维护性的优化方案以及业务场景优化策略,从而不断完善产品服务能力,提升客户满意度。

(文章来源:中国金融电脑杂志) 

扫码即可手机
阅读转发此文

本文评论

相关文章