成果信息
分布式系統(tǒng)下的全局重復(fù)數(shù)據(jù)刪除方法,,是一種真正跨文件,、跨客戶端、跨存儲(chǔ)節(jié)點(diǎn)的全局重復(fù)數(shù)據(jù)刪除方法,,該方法旨在全存儲(chǔ)網(wǎng)絡(luò)范圍內(nèi)查找一個(gè)給定的數(shù)據(jù)塊,,并使其全局范圍內(nèi)保留的數(shù)據(jù)副本數(shù)為R,(R可以被設(shè)定為1,、2或3),。 全局重復(fù)數(shù)據(jù)刪除的算法可簡(jiǎn)單表述為: 1.采用變長(zhǎng)數(shù)據(jù)分塊算法,得到一個(gè)數(shù)據(jù)塊chunk 2.用SHA-1算法,,生成數(shù)據(jù)塊的摘要,,即 sha1(chunk) à key 3.向分布式存儲(chǔ)網(wǎng)絡(luò)發(fā)起 REF(key, i)操作,(i = R, R = 1, 2, 3…) 4.根據(jù)REF操作返回的結(jié)果i,,如果i = R,,則說(shuō)明此數(shù)據(jù)塊在全局范圍內(nèi)被成功引用,此時(shí)不必再向存儲(chǔ)網(wǎng)絡(luò)發(fā)起PUT寫(xiě)入操作,,重復(fù)數(shù)據(jù)刪除成功,。 5.根據(jù)REF操作返回的結(jié)果i,如果i < R,,說(shuō)明引用在全局范圍內(nèi)失敗,,還缺少R-i個(gè)數(shù)據(jù)副本,。正常網(wǎng)絡(luò)情況下,,i的值基本只有兩種:0和R。此時(shí)操作發(fā)起方再調(diào)用PUT操作向分布式存儲(chǔ)網(wǎng)絡(luò)寫(xiě)入數(shù)據(jù)塊:PUT(key, R - i), 檢測(cè)并寫(xiě)入新的數(shù)據(jù)塊操作完成,。)
背景介紹
針對(duì)目前在分布式存儲(chǔ)的現(xiàn)狀,,本項(xiàng)目研發(fā)的系統(tǒng)采用基于無(wú)中心分布系統(tǒng)的全局重復(fù)數(shù)據(jù)刪除方法,解決了數(shù)據(jù)在分布式云存儲(chǔ)環(huán)境下的全局去重難題,,使得百分之九十的重復(fù)數(shù)據(jù)得以刪除,,并且元數(shù)據(jù)和數(shù)據(jù)塊可以共同分散存儲(chǔ),從而節(jié)約大量的存儲(chǔ)成本,,并且支持混合云架構(gòu),,可以實(shí)現(xiàn)無(wú)限擴(kuò)展。解決在去“IOE”政策下,,國(guó)產(chǎn)數(shù)據(jù)災(zāi)備的問(wèn)題,。目前本云災(zāi)備軟件已與廣州超算中心相結(jié)合,解決了各個(gè)政府單位將應(yīng)用遷移以及備份廣州超算中心的難題。)
應(yīng)用前景
待添加)