重复数据删除技术 成备份容灾的利器

随着企业信息系统的不断发展,业务系统的不断增加,在提高了日常业务运营效率的同时,也极大增加了企业内部的数据负担。随着各系统数据量的快速增长、以及数据类型的不断丰富,企业的信息中心面临着系统数据完整性、安全性、可用性等方面的严峻挑战。必须能够确保各个系统的数据得到有效的保护,并在故障出现时迅速准确地予以恢复,以最大限度减小一切可能的损失,实现业务的正常运转。

    随着企业信息系统的不断发展,业务系统的不断增加,在提高了日常业务运营效率的同时,也极大增加了企业内部的数据负担。随着各系统数据量的快速增长、以及数据类型的不断丰富,企业的信息中心面临着系统数据完整性、安全性、可用性等方面的严峻挑战。必须能够确保各个系统的数据得到有效的保护,并在故障出现时迅速准确地予以恢复,以最大限度减小一切可能的损失,实现业务的正常运转。

    数据的安全性保障包括多个方面,如防病毒、系统入侵检测、硬件故障、系统冗余、系统数据备份等,而数据备份是上述安全性保障最核心也是最重要的保障手段,因为它直接对用户的各种数据进行备份,从而达到数据保护的作用,当各种影响数据安全的情况发生时,能以最短的时间恢复受损的数据。采用先进的数据存储技术结合目前主流的数据备份、容灾技术及架构体系将成为企业数据保护的应用趋势。

    一、重复数据删除技术原理

    目前集团公司的备份系统虽然可以完成现有状况下的备份要求,但还是存在以下方面的不足。备份系统恢复难度大,备份机制不完善;备份数据的可恢复性和完整性没有办法100%验证,已经备份的数据要负担极大的不可恢复的风险,而这个风险却又是无法预知的;日常备份业务的维护和管理涉及到备份软件、磁带库运行报告的监控,磁带的保存和管理,整体维护和管理成本偏高;在当前情况下,完成异地的备份数据复制需占用远程链路,如采用本地盘阵,成本将非常昂贵。

    备份数据中一般会包含很多的冗余,而当我们将某一周的全备份镜像和其随后的各个周的全备份镜像相比尤其如此。尽管增量备份只是取那些变化的文件,但增量备份中通常也会包含冗余的数据块。容量优化(Capacity Optimization)是通过分析数据中的独特重复模式,然后把它用更短的符号表示,从而在存储介质中可以存储更多数据的一种技术。当数据写入到备份存储设备时,数据会被分成可变长度的数据段,也可以说一序列的字节。容量优化技术会实时将该数据段与已经存储的各数据段做比较。这种方式保证每个唯一独特的数据段只保留一份。所以容量优化技术可以在文件内或文件间,甚至是数据块内,发现重复的文件和数据段。实际所需的存储空间也就相对于所保存的数据量低一个数据量级。

    容量优化有效率的关键是不依赖于数据格式,全局压缩技术可以应用到任意类型的重复数据—结构化数据(比如数据库)或者非结构化数据(比如文本文件,存储在文件系统上的数据)。不管什么样的数据格式,都可以实现高效率的备份。全局压缩算法会对所有要存放在备份设备上的数据做分析,而不管数据的格式和排列方式如何。优化的好处随着时间的推移会越来越明显。对于压缩效果最大的一个影响是备份策略。全备份相对于增量备份的重复度更高;越多的全备份越能够加剧压缩效率。假设是每周全备结合每天的增量备份的话,经过四个星期,预计压缩率可以达到10:1。八个星期后,预计压缩率为14倍。在18个星期后可以达到20的压缩率。影响压缩效果的另一个因素是数据本身。例如,一份工程设计过程文档的备份镜像,包含多份副本文件或相似文件(一个文件被拷贝很多次,各个版本间的变化很小),显然容量优化利于应用于这种数据。

    二、备份容灾系统能够实现的目标

    2.1 能够实现集中容灾模式

    通过支持容灾资源的集中模式,实现一对多的数据集中容灾。对各客户端容灾数据以透明的方式自动同步到集中容灾中心。在用户需要恢复数据时,可以通过简单的操作,将数据自动恢复到本地。

    2.2 能够灵活制定传输策略

    根据用户业务要求,统一制定灵活的传输策略,支持按天、按时、实时等多种传输策略。

    2.3 能够对集中容灾平台进行全面管理

    在集中容灾中心实现数据的集中存储、集中管理、安全监控、作业监控。提供各用户信息中心容灾设施的部署、配置、运维、恢复等全程管理功能。具有较强的日志功能,随时记录备份用户信息、备份执行隋况、恢复隋况以及系统运行状况等。

    2.4 能够实现远程容灾功能

    数据备份采用无人值守操作,无须人工执行和干预。通过容灾数据的自动远程传输,包括支持增量传输和断点续传,实现抵御大范围灾难事件的能力。

    2.5 能够实现数据的优化存储和优化传输功能

能够以较小的物理存储容量存储更多数据,节省存储容量。同时,在优化存储的基础上,只传输变化的数据,节省容灾数据传输带宽的成本。

    2.6 能够实现数据安全保证功能

    支持用户自己选择加密,确保数据仅用户可访问。通过持续数据校验,确保数据存储可靠。支持数据校验,确保数据的一致性和可恢复性。

    结合前面所论述的现状与技术路线,可以设计出备份容灾解决方案。整体方案采用基于磁盘介质、具备高压缩能力(20:1)的虚拟磁带库产品作为核心备份设备,总部负责完成数据备份,并接受其他分公司和项目部复制到总部的数据。分公司或项目部完成本地的数据备份,并将数据复制到总部。总部使用现有备份软件,结合虚拟磁带库,构建成面向快速恢复的数据备份容灾系统。所有应用服务器可以将数据按照既定策略高速备份到虚拟磁带库上。在未来数据中心建成后,新中心可和容灾系统构建成面向快速恢复的3级数据备份容灾系统体系。

    由于采用容量优化技术,与其他基于磁盘的备份系统相比,其通过广域网传输的数据量减少了95%以上,使得将数据备份到磁盘成了可能。由于可以存储整个数据备份保留周期内的所有备份数据,从而使磁盘备份的优越读写性能得以贯穿整个备份周期,如果必要的话,数据可以通过网络以同样的效率从异地的复制端恢复,或者将异地的数据直接在异地恢复。复制性能远远高于实际物理链接所能够提供的性能,从而进一步降低总体成本。

    三、结束语

    基于重复数据删除技术的数据备份和容灾方案,既具备磁带的经济性,又具备磁盘的可用性和速度,同时克服了磁带和传统磁盘存储阵列固有的缺陷。该解决方案的成本不高于磁带自动化的方案。同时满足不断增长的数据量要求,实现高性能的备份和恢复。解决方案比传统RAID和文件系统具有更高级别的硬件和软件保护能力,提供了可验证的可恢复性和高弹性的存储。

(责任编辑:)

顶一下
(1)
100%
踩一下
(0)
0%
发表评论
请自觉遵守互联网相关的政策法规,严禁发布色情、暴力、反动的言论。
评价:
表情:
用户名: 验证码:点击我更换图片
图片资讯

企业需要全新方式管理安全风险

企业需要全新方式管理安全风险

如今随着企业的信息化水平不断提高,IT系统的规模在不断的扩大,网络结构也日益复杂,...[详细]

如何搞定Fedora 18上的防火墙配置?

如何搞定Fedora 18上的防火墙配置?

经历了几次跳票之后Fedora 18正式版于2013年1月15日面世,凝聚了许多开发者的心血。很...[详细]

揭穿黑客关于Ashx脚本写aspx木马的方法

揭穿黑客关于Ashx脚本写aspx木马的方法汇总

.Net环境,上传处未限制Ashx和Asmx,后者上传无法运行,提示Asmx脚本只能在本地运行,...[详细]

家用路由器巧用防火墙免攻击

家用路由器巧用防火墙免攻击

随着网络信息安全的需求度提高,个人信息与网络安全逐渐被提上了台面。人们越来越意识...[详细]

Windows安全攻略:教你完全修复系统漏洞

Windows安全攻略:教你完全修复系统漏洞

目前互联网上的病毒集团越来越猖狂,对用户的危害也愈演愈烈,大家要懂得保护自己的电...[详细]