- 相關(guān)推薦
淺析海綿數(shù)據(jù)推出大數(shù)據(jù)操作系統(tǒng)Sponge
海綿數(shù)據(jù)近日宣布推出其第二代大數(shù)據(jù)操作系統(tǒng)產(chǎn)品Sponge。Sponge是一個簡單多層，兼容完全POSIX兼容的分布式NFS、Hadoop，支持對象存儲、云存儲、SDS（軟件定義存儲）、容器機(jī)制，集成Spark為計算引擎，基于內(nèi)存計算技術(shù)的分布式系統(tǒng)，將大數(shù)據(jù)的存儲、管理和計算有機(jī)融合，具有實時一致性，易于兼容現(xiàn)有系統(tǒng)，相比10年前誕生的第一代產(chǎn)品Hadoop更加簡單易用，易于擴(kuò)展。僅僅有作為計算平臺的Spark不足以應(yīng)對大數(shù)據(jù)的挑戰(zhàn)，整合后的Sponge技術(shù)框架，能夠同時支持大數(shù)據(jù)、云存儲、結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的處理，代表了大數(shù)據(jù)的發(fā)展方向。
簡單 高效 可靠 經(jīng)濟(jì)
今天已經(jīng)沒有人再懷疑大數(shù)據(jù)的價值，云計算、移動互聯(lián)、物聯(lián)網(wǎng)、機(jī)器學(xué)習(xí)、無人機(jī)等前沿技術(shù)的普及與大數(shù)據(jù)的發(fā)展相得益彰，不論在美國還是中國，大數(shù)據(jù)已經(jīng)在很多的IT企業(yè)和傳統(tǒng)企業(yè)開始落地，譬如互聯(lián)網(wǎng)金融公司的反欺詐流程，電信運營商的客戶服務(wù)分析，都貫穿著大數(shù)據(jù)和機(jī)器學(xué)習(xí)技術(shù)的應(yīng)用，這也刺激著初創(chuàng)企業(yè)在這個領(lǐng)域?qū)ふ倚碌纳虡I(yè)機(jī)會。
目前普遍被采用來應(yīng)對大數(shù)據(jù)的是開源軟件與廉價的x86服務(wù)器的組合，這些開源產(chǎn)品包括Hadoop、Spark、Storm、NoSQL等。傳統(tǒng)存儲和數(shù)據(jù)庫當(dāng)然也針對大數(shù)據(jù)的需求升級，用來存儲價值密度低的大量非結(jié)構(gòu)化數(shù)據(jù)卻不現(xiàn)實。這些原本被Google、Facebook、Yahoo等大公司驗證在某些場景很成功的開源項目，也存在問題：不同功能模塊對應(yīng)多個相互獨立的開源項目，為不同的目的而設(shè)計，其關(guān)系很復(fù)雜，缺乏通用性，系統(tǒng)部署和使用復(fù)雜而低效，二次開發(fā)困難，并且難以統(tǒng)一管理和監(jiān)控，維護(hù)成本高，所以，需要有一個統(tǒng)一的平臺。
簡單、高效、可靠、經(jīng)濟(jì)，這四個詞，是海綿數(shù)據(jù)對第二代大數(shù)據(jù)操作系統(tǒng)的價值的追求，以及Sponge產(chǎn)品設(shè)計的理念。
滿足大量文件數(shù)據(jù)讀寫IO的高需求
不同于以往以磁盤計算技術(shù)為核心的文件系統(tǒng)，SpongeFS將集群內(nèi)存管理提升成為文件系統(tǒng)的重要組成部分，以滿足大量文件數(shù)據(jù)讀寫IO的高需求。SpongeFS基于分布式設(shè)計，上文說的Masterless結(jié)構(gòu)，以及模塊化架構(gòu)，正是由SpongeFS來操盤的。
SpongeFS主要由集群管理層、文件管理層和存儲層構(gòu)成。當(dāng)數(shù)據(jù)進(jìn)入SpongeFS，就被分成一個個數(shù)據(jù)塊，每個數(shù)據(jù)塊通過文件管理層先存入緩存層，被加入集群間復(fù)制隊列，一擊加入到持久隊列等待存入持久層，CDR則把持久層數(shù)據(jù)塊復(fù)制到目標(biāo)集群（目標(biāo)群數(shù)據(jù)塊也優(yōu)先存到緩存層）。文件管理層的基本管理單位是Volume，每個Volume可以有不同的管理設(shè)置，如容錯性、安全性、物理資源的使用等。
【淺析海綿數(shù)據(jù)推出大數(shù)據(jù)操作系統(tǒng)Sponge】相關(guān)文章：
PHP向MySQL數(shù)據(jù)庫保存數(shù)據(jù)代碼03-21
php向Mysql數(shù)據(jù)庫保存數(shù)據(jù)的代碼04-24
PHP數(shù)據(jù)庫Oracle數(shù)據(jù)完整性05-05
關(guān)于統(tǒng)計學(xué)的數(shù)據(jù)來源與搜集數(shù)據(jù)的方法05-06
PHP中在數(shù)據(jù)庫中保存Checkbox數(shù)據(jù)06-18
如何把Excel工作表中數(shù)據(jù)導(dǎo)入數(shù)據(jù)庫07-04