USENIX研究者控制Hadoop的性能 遠(yuǎn)程控制軟件,灰鴿子下載

admin

USENIX研究者控制Hadoop的性能 遠(yuǎn)程控制軟件,灰鴿子下載
建模Hadoop就業(yè)會(huì)很棘手,因?yàn)樗�有的運(yùn)動(dòng)部件,研究人員說(shuō)
現(xiàn)在大數(shù)據(jù)技術(shù)(如Apache Hadoop正進(jìn)入企業(yè),系統(tǒng)工程師必須開始構(gòu)建模型,可以估計(jì)這些分布式數(shù)據(jù)處理系統(tǒng)可以做多少工作,他們可以多快完成工作。
擁有大數(shù)據(jù)工作負(fù)載的準(zhǔn)確模型意味著組織這些工作可以更好的計(jì)劃和分配資源,并能自信地?cái)嘌?當(dāng)這項(xiàng)工作的結(jié)果可以交付給客戶。
估計(jì)大數(shù)據(jù)的工作,然而,是一件棘手的事情,和過程不能完全依賴傳統(tǒng)的建模工具,根據(jù)研究人員在USENIX年會(huì)在自主計(jì)算,本周在費(fèi)城舉行。
“這是幾乎不可能是準(zhǔn)確的,因?yàn)槟闶翘幚聿淮_定的系統(tǒng),”露西Cherkasova說(shuō),惠普實(shí)驗(yàn)室的研究員。
她解釋說(shuō),Hadoop系統(tǒng)是不確定的,因?yàn)樗麄冇幸粋�(gè)廣泛的變量因素導(dǎo)致需要多長(zhǎng)時(shí)間來(lái)完成工作。
一般的Hadoop系統(tǒng)可能有多達(dá)190個(gè)參數(shù)設(shè)置為了開始運(yùn)行,并且每個(gè)Hadoop多少計(jì)算工作可能有不同的要求,帶寬、內(nèi)存或其他資源。
Cherkasova一直致力于模型和相關(guān)工具,評(píng)估大型數(shù)據(jù)處理工作將花多長(zhǎng)時(shí)間運(yùn)行Hadoop或其他大型數(shù)據(jù)處理系統(tǒng),在一個(gè)項(xiàng)目叫做詠嘆調(diào)(MapReduce自動(dòng)推理和分配資源環(huán)境)。 灰鴿子使用教程
詠嘆調(diào)旨在回答這個(gè)問題,“我應(yīng)該多少資源分配給這個(gè)工作,如果我想要處理這些數(shù)據(jù)的最后期限,“Cherkasova說(shuō)。
有人可能會(huì)認(rèn)為,如果你的數(shù)量增加一倍的資源Hadoop工作,完成工作所需的時(shí)間將會(huì)減少一半�！安⒎侨绱恕盚adoop,Cherkasova說(shuō)。
工作概要文件可以改變以非線性方式取決于所使用的服務(wù)器數(shù)量。66年Hadoop集群性能瓶頸節(jié)點(diǎn)不同于1000年的瓶頸在Hadoop集群節(jié)點(diǎn),她說(shuō)。
性能可以根據(jù)不同類型的工作。開展的一些研究Cherkasova涉及學(xué)習(xí)什么大小的虛擬機(jī)將Hadoop最適合的工作。

曉風(fēng)殘?jiān)?/a>

太亂了內(nèi)容，真應(yīng)該好好整理了。