數據處理環境
數據處理環境
相關文章 : 1篇
瀏覽 : 13次
本發明提供了一種大數據環境下的數據處理方法,該方法包括:根據文件的操作粒度,將文件分為文件塊,物理文件和邏輯文件,并分別定義文件塊元數據,物理文件元數據和邏輯文件元數據;將新舊兩個版本的文件元數據在服務器端進行比較,通過存儲層中文件塊對相同數據進行冗余去重,從而在客戶端與服務器端執行新舊版本數據的差異化傳輸.本發明實現了大數據環境下的數據同步,減輕了服務器端計算壓力,提高了傳輸效率和資源利用率.
推薦產品
列表欄目