1. <rp id="zsypk"></rp>

      2. 面向分布式文件系統(tǒng)的可擴(kuò)展數(shù)據(jù)快照科技論文

        時(shí)間:2021-06-25 14:26:18 論文 我要投稿

        面向分布式文件系統(tǒng)的可擴(kuò)展數(shù)據(jù)快照科技論文

          引言

        面向分布式文件系統(tǒng)的可擴(kuò)展數(shù)據(jù)快照科技論文

          隨著信息的全球化,互聯(lián)網(wǎng)產(chǎn)業(yè)得到迅速地發(fā)展,其在科學(xué)研究、數(shù)據(jù)挖掘和信息獲取等方面的廣泛應(yīng)用,使人類需要存儲(chǔ)和管理越來越多的數(shù)據(jù),進(jìn)而出現(xiàn)數(shù)據(jù)爆炸的現(xiàn)象。2012年12月,IDC公司的全球數(shù)據(jù)分析報(bào)告如圖1,預(yù)計(jì)2020年全球數(shù)據(jù)總量將由2012年的2.72ZB增長至40ZB,并且40%的數(shù)據(jù)需要保證其安全性。然而,受硬件設(shè)備失效、火災(zāi)、地震自然災(zāi)害等因素的影響,數(shù)據(jù)的安全性和可靠性受到嚴(yán)重威脅。在這個(gè)數(shù)據(jù)即信息,數(shù)據(jù)即價(jià)值的大數(shù)據(jù)時(shí)代,如何保證數(shù)據(jù)的安全性和完整性成為當(dāng)前存儲(chǔ)領(lǐng)域越來越重要的問題。

          1 目前主流快照技術(shù)

          本章首先介紹目前主流的快照創(chuàng)建技術(shù),包括鏡像分裂、按需復(fù)制、指針重映射和增量快照技術(shù),并分別分析其優(yōu)缺點(diǎn);然后介紹目前基于增量快照的快照恢復(fù)方法;最后為了降低空間、時(shí)間開銷和提高系統(tǒng)可擴(kuò)展性,提出快照創(chuàng)建和快照恢復(fù)需要改進(jìn)的問題。

          1.1 快照創(chuàng)建1.1.1 鏡像分裂快照技術(shù)鏡像分裂技術(shù)在快照時(shí)間點(diǎn)到來之前需要為源數(shù)據(jù)卷創(chuàng)建并維護(hù)一個(gè)完整的物理鏡像卷,同一數(shù)據(jù)的兩個(gè)副本分別保存在由源數(shù)據(jù)卷和鏡像卷組成的鏡像對(duì)上。快照操作到來時(shí),鏡像操作停止,鏡像卷轉(zhuǎn)化為快照卷,得到一份數(shù)據(jù)快照,快照卷在完成數(shù)據(jù)備份后,與源數(shù)據(jù)卷再次同步,重新成為鏡像卷。鏡像分裂技術(shù)雖然在短時(shí)間內(nèi)(斷開鏡像對(duì)所需的時(shí)間)就可以得到一個(gè)完整的物理副本,但其缺乏靈活性,需要預(yù)先為源數(shù)據(jù)卷創(chuàng)建鏡像卷,無法在任意時(shí)間點(diǎn)為任意的數(shù)據(jù)卷創(chuàng)建快照,并且其占用大量的存儲(chǔ)資源,會(huì)造成存儲(chǔ)空間的浪費(fèi)。

          1.1.2 按需復(fù)制快照技術(shù)[12-14]按需復(fù)制技術(shù)在快照時(shí)間點(diǎn)之后開始建立源數(shù)據(jù)卷的完整物理副本。系統(tǒng)接收到快照請(qǐng)求,暫停上層應(yīng)用,接著為源數(shù)據(jù)卷創(chuàng)建快照卷,并為其分配大于或等于源數(shù)據(jù)卷容量的存儲(chǔ)空間,同時(shí)建立一個(gè)控制位圖,該控制位圖的每一個(gè)控制位表示源數(shù)據(jù)卷的一個(gè)單位(通常為數(shù)據(jù)塊)是否已經(jīng)復(fù)制到快照卷,快照操作完成,恢復(fù)上層應(yīng)用?煺战⒅,后臺(tái)復(fù)制程序開始運(yùn)行,將源數(shù)據(jù)卷的數(shù)據(jù)塊復(fù)制到快照卷,并將對(duì)應(yīng)的控制位圖位置1,表示該數(shù)據(jù)塊完成復(fù)制。在此過程中,當(dāng)源數(shù)據(jù)卷上某數(shù)據(jù)要被更新時(shí),若該數(shù)據(jù)塊尚未完成復(fù)制,則這些塊將執(zhí)行寫前復(fù)制COW(首先被復(fù)制到快照卷,同時(shí)將對(duì)應(yīng)的控制位圖置1,然后才能更新源數(shù)據(jù)卷的數(shù)據(jù));若該塊已完成復(fù)制,則直接更新數(shù)據(jù)。按需復(fù)制快照技術(shù)的工作原理如圖2所示: 圖2 按需復(fù)制快照技術(shù)工作原理寫前復(fù)制技術(shù)確保復(fù)制操作發(fā)生在更新操作之前,使快照時(shí)間點(diǎn)之后的數(shù)據(jù)更新不會(huì)出現(xiàn)在快照卷上,保證了數(shù)據(jù)的完整性。通過后臺(tái)復(fù)制和寫前復(fù)制技術(shù),最終源數(shù)據(jù)卷的數(shù)據(jù)會(huì)被復(fù)制到快照卷,得到源數(shù)據(jù)卷的完整物理副本。

          1.1.3 指針重映射技術(shù)[12-14]指針重映射技術(shù)建立一份快照時(shí)刻源數(shù)據(jù)卷的邏輯副本,不會(huì)產(chǎn)生完整的物理副本。該技術(shù)只需分配少量的快照空間,存儲(chǔ)快照時(shí)間點(diǎn)之后被更新的數(shù)據(jù),每個(gè)源數(shù)據(jù)卷都有一個(gè)數(shù)據(jù)指針表,該指針表中記錄的`數(shù)量等于源數(shù)據(jù)卷的數(shù)據(jù)塊數(shù)量,每條記錄保存著指向?qū)?yīng)數(shù)據(jù)塊的指針?煺談(chuàng)建時(shí),為源數(shù)據(jù)卷的指針表建立一個(gè)副本,作為快照卷的數(shù)據(jù)指針表,快照時(shí)間點(diǎn)結(jié)束時(shí),快照卷和源數(shù)據(jù)卷通過各自的指針表共享同一份物理數(shù)據(jù)。 圖3 指針重映射技術(shù)工作原理快照創(chuàng)建之后,當(dāng)源數(shù)據(jù)卷中的某數(shù)據(jù)將要被更新時(shí),使用寫前復(fù)制技術(shù),將要更新的數(shù)據(jù)寫至預(yù)先分配的存儲(chǔ)空間,然后修改快照卷的數(shù)據(jù)指針表使其指向該存儲(chǔ)空間的數(shù)據(jù)塊。指針重映射技術(shù)工作原理如圖3所示:指針重映射技術(shù)的備份窗口只需幾秒鐘,為快照卷分配的存儲(chǔ)空間卻大大減小。

          但因?yàn)榭煺站韮H僅保存了源數(shù)據(jù)卷中被更新的數(shù)據(jù),快照技術(shù)無法得到完整的物理副本,且若更新的數(shù)據(jù)數(shù)量超過預(yù)先分配的存儲(chǔ)空間,快照將失效。

          1.1.4 增量快照技術(shù)增量快照是基于按需復(fù)制的快照技術(shù),因此能夠產(chǎn)生各個(gè)連續(xù)時(shí)間點(diǎn)的完整物理副本,同時(shí)結(jié)合重映射技術(shù)只復(fù)制更改數(shù)據(jù)塊的思想,減少了數(shù)據(jù)的物理復(fù)制工作量。在第一個(gè)快照時(shí)間點(diǎn),除了分配一個(gè)大于或等于源數(shù)據(jù)容量的快照卷并建立控制位圖之外,同時(shí)還建立一個(gè)增量位圖,增量位圖用于記錄自上次時(shí)間點(diǎn)的快照創(chuàng)建之后,源數(shù)據(jù)卷上被更新的數(shù)據(jù)塊的位置。通過查詢控制位圖,執(zhí)行后臺(tái)復(fù)制和寫時(shí)復(fù)制,同時(shí)利用增量位圖記錄快照時(shí)間點(diǎn)之后源數(shù)據(jù)卷上被更新的數(shù)據(jù)塊位置。當(dāng)需要?jiǎng)?chuàng)建B時(shí)間點(diǎn)的快照時(shí),用前一快照時(shí)間點(diǎn)的控制位圖與此時(shí)的增量位圖進(jìn)行XOR操作,產(chǎn)生快照時(shí)間點(diǎn)B的控制位圖,同時(shí)將增量位圖置0,開始記錄時(shí)間點(diǎn)B之后被更新的數(shù)據(jù)塊,其工作原理如圖4所示: 圖4 增量快照工作原理快照時(shí)間點(diǎn)A時(shí)一部分?jǐn)?shù)據(jù)已經(jīng)拷貝至快照卷,同時(shí)增量位圖記錄了自快照時(shí)間點(diǎn)A后源數(shù)據(jù)卷被修改的數(shù)據(jù)塊,當(dāng)創(chuàng)建時(shí)間點(diǎn)B的快照時(shí),可以通過查看增量位圖,然后與A的控制位圖XOR,即得B處的控制位圖,即B時(shí)間點(diǎn)需要存儲(chǔ)的數(shù)據(jù),同時(shí)增量位圖置0,記錄時(shí)間點(diǎn)B后被更新的數(shù)據(jù)塊。

          1.1.5 快照技術(shù)總結(jié)如表1所示,鏡像分裂技術(shù)雖然備份窗口僅為斷開鏡像對(duì)的時(shí)間,但每次需要完全復(fù)制數(shù)據(jù),浪費(fèi)存儲(chǔ)空間,且缺乏靈活性。按需復(fù)制技術(shù)雖然可得到完整的數(shù)據(jù)副本,但空間開銷大并且后臺(tái)復(fù)制影響系統(tǒng)性能。指針重映射技術(shù)雖然只復(fù)制被更新的數(shù)據(jù)塊,但無法得到完整的物理副本。增量快照技術(shù)可以實(shí)現(xiàn)連續(xù)時(shí)間點(diǎn)的快照,并且在快照時(shí)間點(diǎn)只需要復(fù)制更改的數(shù)據(jù)塊,從時(shí)間和空間的角度綜合考慮,明顯優(yōu)于其他快照技術(shù)。然而,在分布式文件系統(tǒng)中,增量快照的空間開銷隨著系統(tǒng)規(guī)模的增大,仍然會(huì)比較大,因此需要進(jìn)一步改進(jìn),以節(jié)約空間開銷,提高系統(tǒng)可擴(kuò)展性。表1 快照技術(shù)總結(jié)

          1.2 快照恢復(fù)快照恢復(fù)與快照創(chuàng)建具有一一對(duì)應(yīng)關(guān)系,對(duì)主流在分布式文件系統(tǒng)中,隨著數(shù)據(jù)量的增大和快照版本的增多,需要恢復(fù)的數(shù)據(jù)塊數(shù)也急劇增多,因此,遞進(jìn)式地恢復(fù)特定時(shí)間點(diǎn)快照所需要的時(shí)間也會(huì)相應(yīng)增多。為了提高數(shù)據(jù)失效時(shí)快照的恢復(fù)效率,對(duì)增量快照恢復(fù)方法的研究也是十分必要的。

          2 基于數(shù)據(jù)壓縮的增量快照技術(shù)

          2.1 增量快照的空間開銷問題數(shù)據(jù)快照的創(chuàng)建主要包括兩方面:第一,決定需要備份的數(shù)據(jù)塊;第二,將需備份的數(shù)據(jù)塊快速寫入快照空間。其中決定需要備份的數(shù)據(jù)塊有兩種情況,全部備份或者部分備份,目前的數(shù)據(jù)總量急劇增長,如果全部備份,所需的快照空間將隨數(shù)據(jù)總量的增加急劇增加,因此我們采取部分備份,即只備份更新的數(shù)據(jù)塊。傳統(tǒng)的創(chuàng)建數(shù)據(jù)快照的技術(shù)鏡像分裂、按需備份、指針重映射和增量備份技術(shù)中,在空間和時(shí)間方面,增量備份有相對(duì)低的開銷,并且可以創(chuàng)建連續(xù)時(shí)間點(diǎn)的快照。

          2.2 基于數(shù)據(jù)壓縮的增量快照技術(shù)隨著系統(tǒng)規(guī)模的增大,被更新的數(shù)據(jù)塊逐漸增多,快照所占的存儲(chǔ)空間仍然比較大,因此需要對(duì)增量快照作進(jìn)一步的改進(jìn),使其在大規(guī)模的分布式文件系統(tǒng)中具有較小的空間開銷和較高的可擴(kuò)展性。壓縮技術(shù)是按照一定的算法對(duì)數(shù)據(jù)進(jìn)行重新組織,以減少數(shù)據(jù)的冗余性和存儲(chǔ)空間開銷,因此本文將增量快照和壓縮技術(shù)相結(jié)合,實(shí)現(xiàn)了基于數(shù)據(jù)壓縮的增量快照技術(shù),即在將需要備份的數(shù)據(jù)塊復(fù)制于快照空間之前,首先將這些數(shù)據(jù)塊進(jìn)行一定的壓縮,然后再將其存入快照空間。本文擬采用Huffman壓縮算法[16-17],并對(duì)其做進(jìn)一步改進(jìn),Huffman壓縮算法的流程如圖6:圖6 Huffman壓縮算法Huffman壓縮算法首次遍歷數(shù)據(jù)塊,分別統(tǒng)計(jì)每個(gè)字符出現(xiàn)的次數(shù),按字符出現(xiàn)次數(shù)進(jìn)行降序排序并構(gòu)造二叉樹,出現(xiàn)次數(shù)較多的數(shù)據(jù)在樹的最頂層,較少的數(shù)據(jù)在樹的最底層,然后從根節(jié)點(diǎn)到每個(gè)數(shù)據(jù)的路徑來對(duì)其進(jìn)行相應(yīng)的編碼得到編碼位,最后用編碼位替換原數(shù)據(jù)塊中的字符,即可得到壓縮后的數(shù)據(jù)。但是,源數(shù)據(jù)塊中可能存在多個(gè)連續(xù)的相同字符,如果用編碼位將相同的字符都進(jìn)行替換,會(huì)出現(xiàn)一定程度的空間浪費(fèi),可以考慮將連續(xù)出現(xiàn)的相同的字符只替換一次,然后增加標(biāo)志位,用于記錄該字符連續(xù)出現(xiàn)的次數(shù),以此節(jié)約更多的存儲(chǔ)空間。

          2.3 基于數(shù)據(jù)壓縮的增量快照開銷分析因?yàn)樵隽靠煺罩皇菑?fù)制更改的數(shù)據(jù)塊,當(dāng)數(shù)據(jù)塊較大時(shí),每次雖然只更新了數(shù)據(jù)塊中的小部分?jǐn)?shù)據(jù),仍然需要將整個(gè)數(shù)據(jù)塊復(fù)制至快照空間,造成存儲(chǔ)空間的浪費(fèi)。而當(dāng)數(shù)據(jù)塊較小時(shí),若更改的數(shù)據(jù)較多,則每次需要復(fù)制多個(gè)數(shù)據(jù)塊,導(dǎo)致快照創(chuàng)建和恢復(fù)的操作復(fù)雜。因此,數(shù)據(jù)塊大小的選擇也是一個(gè)比較關(guān)鍵的問題,還需要做更多的測(cè)試來比較驗(yàn)證,以選擇合適的大小

          3 恢復(fù)鏈路縮減技術(shù)

          3.1 快照恢復(fù)的開銷問題在采用增量快照的基礎(chǔ)上進(jìn)行研究,增量快照在首次創(chuàng)建快照時(shí)完全備份,之后僅備份自上次快照時(shí)間點(diǎn)之后更改的數(shù)據(jù)塊。因此,當(dāng)恢復(fù)指定時(shí)間點(diǎn)的快照時(shí),需采用遞進(jìn)式的恢復(fù)方法,當(dāng)快照版本增多時(shí),恢復(fù)快照的開銷也會(huì)相應(yīng)的增大,因此,需要在原有快照恢復(fù)方法的基礎(chǔ)上作進(jìn)一步的改進(jìn),以控制快照的恢復(fù)開銷。

          3.2 恢復(fù)鏈路縮減算法針對(duì)上述問題,本文在已有的基于增量快照的快照恢復(fù)方法基礎(chǔ)上,提出了恢復(fù)鏈路縮減的快照恢復(fù)技術(shù),即在從特定時(shí)間點(diǎn)至首次快照時(shí)間點(diǎn)之間的快照鏈路上,將對(duì)同一數(shù)據(jù)塊的多次遞進(jìn)式恢復(fù)縮減為一次。在首次創(chuàng)建快照時(shí),同時(shí)建立一個(gè)日志文件,該文件包括快照創(chuàng)建時(shí)間、需備份的數(shù)據(jù)塊地址和該數(shù)據(jù)塊在快照空間的地址三個(gè)字段

          4 總結(jié)語

          在大數(shù)據(jù)時(shí)代,保證數(shù)據(jù)的安全性和完整性具有重要意義,因此,越來越多的存儲(chǔ)系統(tǒng)采用快照技術(shù)來保證數(shù)據(jù)的安全性。然而在分布式文件系統(tǒng)中,快照創(chuàng)建的空間開銷隨著系統(tǒng)數(shù)據(jù)量的增大急劇增大。并且隨著快照數(shù)量的增多,存儲(chǔ)快照所占用的空間和系統(tǒng)失效時(shí)恢復(fù)快照的開銷也會(huì)增大,從而嚴(yán)重影響分布式文件系統(tǒng)的性能和可擴(kuò)展性。

        【面向分布式文件系統(tǒng)的可擴(kuò)展數(shù)據(jù)快照科技論文】相關(guān)文章:

        基于知識(shí)網(wǎng)格的分布式數(shù)據(jù)挖掘論文04-25

        論面向?qū)ο蟮臄?shù)據(jù)庫技術(shù)論文06-26

        基于可擴(kuò)展的網(wǎng)頁關(guān)鍵信息抽取研究論文04-14

        可擴(kuò)展集成化云平臺(tái)監(jiān)控機(jī)制的設(shè)計(jì)論文04-20

        淺析基于云計(jì)算的分布式數(shù)據(jù)挖掘系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)論文04-20

        AT24C512中數(shù)據(jù)的文件系統(tǒng)化管理論文07-01

        基于Java RMI的分布式數(shù)據(jù)庫系統(tǒng)的應(yīng)用與研究的論文04-14

        分析科技人才數(shù)據(jù)庫建設(shè)的現(xiàn)狀論文11-04

        分布式電源系統(tǒng)設(shè)計(jì)論文04-19

        99热这里只有精品国产7_欧美色欲色综合色欲久久_中文字幕无码精品亚洲资源网久久_91热久久免费频精品无码
          1. <rp id="zsypk"></rp>