• 快捷搜索
  • 全站搜索

基于大数据分析技术创新智能运维体系

2015-02-25 15:19:55作者:中国农业银行软件开发中心 张会根 张博 赵焕芳编辑:金融咨询网
国内银行业对大数据分析技术的应用更多集中在对业务发展的研究与探索,在系统运维方面应用较少。借助大数据分析技术打造智能化运维体系,形成智能感知、智能预警、智能处理的智能运维服务体系,以求能够实现事前预测、事后快速处理,逐渐成为新的探索方向。

        此外,由于系统自身特性,节假日系统交易量很小,其用户行为与工作日有显著差异,因此目前该模型仅支持在工作日对系统进行判断。

        4.模型校验

        基于模型验证数据,对模型的应用效果进行了检验。检验之前我们需要定义如下概念。

        系统故障(由运维人员记录):共12个工作日,其中9次波形表现显著异常。对应日志频数降为最低点时认定为宕机,在这之前可能已经感觉到系统亚健康状态,由于缺少相应记录,该部分误差暂时无法估计。

        波形异常(波形有显著、异常下跌,含系统故障):共21个工作日,包括9次故障、系统更新及其他未知原因。

        全部数据集集中累计有故障点12个,预警指标成功识别了其中8次;波形异常数21次,成功识别数20。其中验证集有系统故障点4次,成功识别数4;波形异常数8次,成功识别数8。

        基于上述基础,我们对模型产生的所有信号进行统计,通过漏报率,弃真,第一类错误)、准确性(取伪,第二类错误)及预测的时效性3个指标进行检验。测算其预报准确率为88%,漏报率为33%,平均预报比孜障发生提前26分钟,总体达到了建模时预设的目标。

        5.模型应用

        基于模型测试数据,设计模型应用的流程框架,对模型的效果进一步进行实际检验后,预警功能正式投产上线,持续对系统进行亚健康状态预测。在2013年12月系统运行高峰期间实现多次成功预警,协助运维人员及时处置,大幅提高运维人员的智能运维水平。

        具体应用框架如图所示。预测系统从目标系统采集流式数据,对数据进行预处理后形成基础变量的原始值,将原始值作为模型输入代入模型,将数据标准化后根据模型算法生成预测变量,然后根据加权规则产生最终的预警信号。同时根据累积的数据动态维护模型中参数表,确保模型的预测能力。

基于大数据分析技术的智能运维体系探索-图.jpg

三、展望

        本文开发的模型能够解决部分问题,为系统智能化运维体系建设丰富了技术基础。但仍未能实现提前一定时间量预测所有故障的最终需求,未来主要从三方面优化解决方案。

        一是扩展数据来源。数据基础决定了模型所能达到的效果上限,而本文已采集到的有效数据从纵向(时间周期)和横向(变量范围)上都有很大局限性。首先需要扩展数据覆盖的时间周期,本文采集数据为2013年3~11月,但运行结果显示该系统的用户行为受季节性和年末影响显著,建模过程应纳入特殊时点因素;同时可以通过将频数变量进一步细化至各个功能模块,提高故障定位能力;此外可以采集交易平均响应时间、有效在线人数,甚至系统级日志信息等内容,全面反映系统状况。

        二是从算法入手。算法的优劣往往决定了模型能够在多大程度上接近数据基础所确定的效果上限。在现有数据的基础上,信号加权规则和报警策略会根据应用结果,继续优化。如果能够引入新的变量,在算法方面将会有更多选择,比如可以通过时间序列预测直接预测关键指标未来变化,以此增加预测提前量;或者通过建立决策树或神经网络等分类器,统筹考虑变量体系等来提高模型预测精度。

        三是结合运维领域专家经验,深入剖析故障原因。越是复杂的挖掘算法往往越需要更深入地理解需求和业务场景。将数据层面的定量分析与领域专家经验的定性分析相结合,一方面可以通过分析积累的故障场景,进一步定义亚健康或系统故障,清晰模型目标变量;另一方面结合故障产生原因,可以指引我们有针对性地采集数据,及时排除噪声变量干扰。

        通过对以上三种途径的研究落实,预测模型在精度和问题定位方面仍有提升空间。同时,本文建立的模型在其他IT系统有较好的适用性。首先,数据来源完全依赖交易量等应用级日志,便于获取。其次,这套模型假设只需整体用户的使用量变化趋势相对稳定,对绝对量并无要求,因此具备一定交易量即可满足基本假设。再次,当纳入其他同类性质指标变量时,无需改动算法本身,只需对投票加权规则进行适当优化,建模算法扩展性较好。总之模型有较强的适用性,其数理统计方法可以较方便地迁移至其他系统。基于对大数据技术的研究与应用,未来可以为智能化运维中的智能化处置故障提供更多技术支撑,建设更加完整的智能化运维体系。

(文章来源:《金融电子化》杂志)


 

首页 上一页 1 2

扫码即可手机
阅读转发此文

本文评论

相关文章