成都海擎科技有限公司
電話：028-65065822
郵箱：cdhaiqing@163.com
聯(lián)系人：袁女士
地址：成都市高新區(qū)天府三街69號
大數據不需要虛擬化？其實不然
大數據并不需要虛擬化，原因似乎很簡單，因為虛擬化技術的核心思想是資源池化，借助池化資源的調度來充分使用資源，提高資源的利用效率。但CPU利用率已達到70%～80%時，虛擬化顯然就沒有更多的意義了。 虛擬化并不是適應所有場景的，例如HPC領域，虛擬化基本就派不上用場。分析一下大數據的應用場景，其核心就是利用X86等相對廉價的服務器，對海量的價值密度相對低的非結構化數據、半結構化數據進行處理和分析，借助分布式文件系統(tǒng)（NFS）對數據進行并行的海量處理。對于擔負計算節(jié)點任務的服務器而言，其處理能力應該接近極限，因為，如果計算節(jié)點可以獨立承擔任務，甚至還有挖掘“潛力”的能力，那么，還要并行計算做什么？基于此，大數據應用不需要虛擬化，這應該是一個結論。
今年8月當VMware宣布推出vSphere Big Data Extension方案的時候，多少讓人摸不著頭腦，大數據與虛擬化是怎么樣產生交集的呢？在10月30日～31日舉行的VMware vForum 2013會議期間，記者有幸采訪了VMware全球副總裁、CPD及全球研發(fā)兼中國研發(fā)中心總經理李嚴冰博士，以及VMware云應用平臺及服務中國總經理任道遠先生，任道遠同時也是VMware中國研發(fā)中心副總經理，同時兼任VMware上海研發(fā)中心的總經理。
在解答我的疑問之前，李嚴冰博士首先透露一個最新的任命，她將不再擔任VMware中國研發(fā)中心總經理，將集中經歷主管全球的研發(fā)工作，其職位將由任道遠來接替?！半m然不再擔任中國研發(fā)中心總經理，但在工作上與中國研發(fā)中心還有很多交集，仍然會一如既往關注VMware中國用戶的需求?！彼f。 接下來，李嚴冰博士回答了我的疑問。她表示，的確很多人會認為大數據不需要虛擬化。VMware之所以宣布vSphere Big Data Extension，也為了給用戶更多的選擇。用戶可以選擇物理機、也可以選擇虛擬機來構建大數據應用環(huán)境。而選用虛擬機將為用戶帶來更多的靈活性，讓系統(tǒng)能夠應對不同規(guī)模的大數據應用的需求。李嚴冰博士，需要看到Hadoop應用環(huán)境部署還是相對復雜，對于技術人員有一定的要求，為了降低部署的復雜度，VMware vSphere Big Data Extension提供大量的集成性的工作，簡化Hadoop的部署。 李嚴冰博士指出，如今大數據應用更多集中在社交類媒體所產生的非結構化數據，實際上，云計算也是大數據的制造者。據她透露，云計算環(huán)境中，僅快照應用所產生的日志文件，每天就有6500萬條之多。單純依靠人力，是沒有辦法應對如此大量的日志文件。因此，管理人員希望借助大數據對日志進行分析，從而滿足管理的需要。
透過vSphere Big Data Extension，VMware對外界傳遞了這樣的一個信息，軟件定義會給用戶帶來的成本節(jié)省和靈活性。為此，VMware提出了軟件定義數據中心（SDDN）的概念，從數據中心和云基礎架構的vCloud Suite，到桌面虛擬化和移動計算，VMware提供了一個完整的端到端的解決方案，用軟件定義的方式，賦予了云計算和移動終端互聯(lián)網足夠的靈活性，滿足了管理需要。 云計算基礎架構包括計算、網絡、存儲和管理，其中，以計算和管理最為成熟，VMware虛擬化方案得到廣泛認可和部署。與此同時，網絡和存儲如何適應變化和需要，已經變得非常迫切。以網絡為例，網絡配置和部署不僅需要專業(yè)技術人員，同時也需要數周甚至更長的時間，這就與計算資源靈活部署形成了鮮明對照。 目前VMware NSX虛擬化方案得到了很多網絡廠商的支持。李嚴冰博士表示，VMware也是Openflow標準推動者，提供了很多源代碼的貢獻。在存儲方面，VMware VSDN方案以服務器本地磁盤為基礎，可以創(chuàng)建針對虛擬機優(yōu)化的分布式共享存儲結構，為用戶提供更多的選擇。目前，網絡虛擬化、存儲虛擬化，較之服務器虛擬化還有些距離，但軟件定義的趨勢已經成為了一種方向。 李嚴冰博士表示，VMware恰好趕上了這樣的一個趨勢。為把握好的趨勢，VMware的策略是更加開放，一方面支持OpenStack、OpenFlow這樣的開源組織，另外一方面也增加了對HyperV等產品支持。“我們希望打造一個生態(tài)環(huán)境，為用戶提供盡可能多的選擇?！崩顕辣┦空f