• 快捷搜索
  • 全站搜索

一种主机领域备份数据索引方法研究

2018-01-15 13:08:49作者:中国工商银行数据中心(上海) 耿倩编辑:金融咨询网
本文提出一种主机备份数据索引方法,建立了磁带备份文件与所备份的磁盘文件名之间的对应关系,恰好弥补了当前主机领域的这一空白,有效解决了非全量备份的数据在进行恢复时的磁带定位问题。

信息时代的发展使得数据规模不断扩张,出于数据安全、数据共享、成本控制等多方面考虑,需要对磁盘数据实施定期备份。在资源有限的前提下,对于变化率较小的数据,采用非全量备份将是比较高效的选择。就主机领域而言,由于主机系统并不记录磁带备份文件与所备份的磁盘文件名称间的对应关系,如采用非全量数据备份,当进行数据恢复时,如何在大量备份中定位到所需数据所在的磁带备份将面临很大挑战。本文提出一种主机备份数据索引方法,建立了磁带备份文件与所备份的磁盘文件名之间的对应关系,恰好弥补了当前主机领域的这一空白,有效解决了非全量备份的数据在进行恢复时的磁带定位问题。

一、非全量备份面临的主要问题

        随着信息时代的发展,数据规模日益增长,数据备份量也在同步增加。对变化率较小的数据而言,如历次备份均采用全量备份,则保留了较多相同数据的多份重复拷贝,不仅是对系统资源的极大浪费,也延长了备份操作时间。然而如采用非全量备份(如冗余增量备份、普通增量备份),那么在进行数据恢复时如何定位到需要恢复的数据所在的磁带将是一个比较有挑战性的问题。在主机系统中,将磁盘文件备份到磁带的过程可描述为将一个或若干个存在于磁盘的数据集内容顺序写入磁带,生成一个磁带文件,根据磁带文件的大小,该磁带文件可能使用一盘或多盘磁带。系统目录(Catalog)中可以记录磁盘文件名与其所在磁盘卷、磁带文件名与其所对应的磁带带标等信息;但是某一磁带文件中具体备份了哪些磁盘文件内容,或某一磁盘文件内容在哪个或哪些磁带文件中有备份,目前无法获知。举例说明如下:

        DASD_DSN*表示磁盘文件,DVOL*表示磁盘卷标;TAPE_DSN*表示磁带文件,TVOL*表示磁带带标。磁盘文件DASD_DSN1~DASD_DSN5分别存放于磁盘卷DVOL01~DVOL05上。在进行备份时,磁盘文件DASD_DSN1、DASD_DSN2、DASD_DSN3备份到磁带后生成磁带文件TAPE_DSN1;而磁盘文件DASD_DSN4、DASD_DSN5备份到磁带后生成磁带文件TAPE_DSN2。系统目录中会记录磁带文件所在磁带的带标,即磁带文件TAPE_DSN1存放在磁带TVOL01和TVOL02上,而TAPE_DSN2存放在磁带TVOL03上。但是磁带文件TAPE_DSN1中具体存放了哪些对应的磁盘文件,系统并不会记录(如图1所示)。

图片1.jpg

        如果采用全量数据备份,则在需要恢复的时候,只需根据具体需求恢复某一天的备份即可,代价是不必要的资源消耗较大;如果采用高效的非全量备份,由于实际备份的内容与数据是否发生改变直接相关,那么如何定位所需恢复的文件在哪份磁带备份中,将是一个巨大挑战。

二、备份数据索引思路级系统实现

        备份数据索引方法的主要思路是扫描系统中备份作业的输出日志,收集备份内容相关信息,如备份的源文件名称(即磁盘文件名称)与备份产生的磁带数据集名称的对应关系、备份文件生成日期及到期日等信息,并将其导入数据库中。进行数据恢复时,根据要恢复的磁盘数据集名称,检索数据库,定位待恢复数据所在的磁带文件名称,进而可以根据需要生成恢复作业。该方法建立了磁带备份文件与所备份的磁盘文件名之间的对应关系,弥补了当前主机系统在这一领域的空白。

        1.系统结构

        备份数据索引系统结构示意图如图2所示,主要部件功能如下。

图片2.jpg

        (1)备份信息收集模块:根据设置,可周期性读取作业队列中备份作业的输出日志,记录备份输入(磁盘数据集名称)、备份输出(磁带数据集名称)、备份日期、备份作业名称等信息;

        (2)索引数据加载模块:将备份信息收集模块的输出作为输入,将其导入至备份信息数据库。

        (3)备份信息检索模块:当有磁带文件恢复需求时,根据用户提供的磁盘文件名,定位其所在的磁带备份文件数据集清单,由于该文件可能被多次备份,检索结果除提供数据集名称外,还可提供备份时间、备份日期、到期日、备份系统名、备份作业名、备份用户名等信息,方便用户在进行数据恢复的时候进行选择。

        (4)数据过期处理模块:该模块为时间触发,定期根据备份文件到期日,对备份数据库中的信息进行过期处理,删除已到期的备份文件在数据库中的记录。

        (5)索引目标控制文件:该文件作为“备份信息收集模块”的其中一个输入,控制备份信息收集模块收集的备份作业范围,用户可结合实际需求进行手工定制。

        (6)备份数据索引文件:该文件为“备份信息收集模块”的输出,是“索引数据加载模块”的输入,备份信息收集模块将扫描到的文件备份信息写入该文件。

        (7)备份信息数据库:该数据库主要记录磁带备份文件名与其所备份的磁盘数据集名称间的对应关系,此外还记录备份生成日期、到期日、系统名、作业名、用户名等信息。“备份信息数据库”同时作为“索引数据加载模块”的加载目标,“备份信息检索模块”的检索对象,同时也是“数据过期处理模块”的处理对象。

        2.数据库表结构

        本方法涉及的数据库表结构描述如下(见表1)。

图片3.jpg

        (1)磁盘文件名:记录数据集在磁盘上的文件名。

        (2)备份磁带文件名:一个或若干个磁盘文件可备份到一个磁带文件中,该字段为磁带文件名称。

        (3)生成日期:磁带备份文件产生的日期。

        (4)到期日:磁带备份文件的到期日,超过该日期,则系统将不再保留该磁带数据。

        (5)系统名:备份作业运行的系统名称。

        (6)作业名:备份作业的名称。

        (7)用户名:提交该备份作业的用户名称。

        3.处理流程

        备份数据索引系统主要涉及三个处理流程:备份数据收集流程、备份数据查询流程、备份信息过期流程,这三个处理流程都与备份信息数据库密切相关(如图3所示)。

        (1)备份数据收集流程具体步骤

        ①用户根据需求,编辑“索引目标控制文件”,通过备份作业名称、作业运行日期、用户等限定“备份数据收集模块"的处理对象;

        ②可通过时间驱动或事件驱动,调用“备份数据收集模块"根据索引目标扫描备份作业队列,并将扫描到的备份信息写入“备份数据索引文件”;

        ③“索引数据加载模块”将“备份数据索引文件”内容导入“备份信息数据库”。

        (2)备份数据查询流程具体步骤

        ①用户提供待恢复的磁盘文件名称;

        ②“备份信息检索模块”根据用户的恢复需求,查询“备份信息数据库”,返回含有用户所需文件的磁带文件名清单;

        ③用户根据实际需求,决定使用哪代磁带备份,生成恢复作业。

        (3)备份信息过期流程具体步骤

        ①设置定时器,用户可根据实际需求定制过期的周期,建议可以每天过期一次;

        ②判断是否达到设定时问,如是,则进入步骤③,如否,如否则继续等待,重回本步骤;

        ③备份信息过期处理,根据备份文件到期日查询数据库;

        ④判断是否有磁带备份已过期的记录,如有,则进入步骤⑤,如无,则进入步骤②;

        ⑤删除磁带备份已过期的备份信息记录。

        本文提出了一种主机领域备份数据索引方法,该方法建立了磁带备份文件与所备份的磁盘文件名之间的对应关系,弥补了主机操作系统在这一领域的空白,有效解决了非全量备份后难以定位所需恢复数据备份于哪个融带文件的问题;并通过与数据库结合,提供非全量备份后的备份信息收集、录入、检索、过期、恢复作业生成等一整套解决方案,为实现高效的非全量数据备份提供了有力支撑。

(文章来源:中国金融电脑杂志) 

扫码即可手机
阅读转发此文

本文评论

相关文章