SDN與網絡虛擬化的起源與現狀

【編者按】

本篇文章摘自范恂毅與張曉和的新書《新一代SDN - VMware NSX網絡原理與實踐》（強烈推薦購買此書，該書在京東、噹噹、淘寶、亞馬遜有售），是其中的第一章《SDN與網絡虛擬化的起源與現狀》。

由於微信單篇文章的字數受限，所以部分重要性相對較低的段落有刪節。

需要閱讀本篇文章全文，可以前去

http://www.epubit.com.cn/book/onlinechapter/38925

並且，根據作者的建議（來自書籍讀者，包括謝斌等的反饋，在此一併致謝），編者修改了原書文章的幾個小的錯誤。

另外，我們有一個專門的"VMware NSX愛好者"的微信群，裡面有不少網絡或NSX專家。

真正對VMware網絡技術感興趣的朋友可以通過在文章末尾提到的幾個微信號，提出邀請後加入。

加入後注意群公告，避免被誤傷: )

關於范恂毅，對VMware網絡技術感興趣的朋友對他應該不陌生了，在"樂生活與愛IT"這個平台上，之前曾經過發表過他的文章：

下面是他的自我介紹：「由於喜歡三國周瑜，因此也會自稱「都督」。

大家喊我小范也行，范工也行，都督也行～希望在技術和其他層面能和大家多多交流」

---Begin---

1.1.2 網絡業務發展趨勢

IT行業到底發生了什麼樣的變化，導致傳統IT基礎架構已無法適應，並且必須做出改變？

在資訊時代，雖然存在部分企業寡頭壟斷的情形，但絕大多數中小型企業都面臨著全球化的競爭，就算是寡頭壟斷的那些行業巨頭們，也需要創造利潤滿足股東的利益，且需要滿足其幾萬甚至幾十萬名員工日益增長的工資和福利要求，這就需要所有企業不斷利用新的創造力、新的技術，來提升自己的競爭能力。

這些技術的核心包括且不限於伺服器虛擬化、存儲虛擬化、應用加速、自動化工具等。

在這個過程中，企業需要不斷根據現今和未來可能出現的業務需求，來調整自己的IT基礎架構。

我們來看一個真實案例，此為新華網的新聞節選，為了保持新聞的真實性，我們沒有對這段話進行任何修改和刪減。

2015年11月12日下午，金氏世界紀錄認證官Charles Wharton公布天貓在雙十一期間創造的9項金氏世界紀錄榮譽。

其中24小時單一網絡平台手機銷量超過300萬台，當日公司的交易總額高達912億人民幣。

天貓雙十一所創造的9項紀錄，除了當天91,217,036,022元人民幣的交易額打破了「24小時單一公司網上零售額最高」金氏世界紀錄榮譽之外，還有其他的銷售成績包括牛奶10,124,263升、堅果6,567噸、蘋果641,899公斤、蜂蜜269,821公斤、手機3,133,289台、電視機643,964台、手錶1,112,561支、汽車6,506輛，八種產品成功刷新了銷售業績的金氏世界紀錄榮譽。

金氏世界紀錄認證官Charles Wharton表示：「非常高興能再度見證天貓在雙十一期間創造的銷售紀錄，希望消費者在參與打破紀錄的同時，也能夠獲得便捷高效的消費體驗。

」

這個所謂的「購物狂歡節」，是企業競爭、吸引客戶、刺激消費的一種手段，也帶來了一連串連鎖反應。

首先，阿里巴巴公司作為活動發起者，在這一天的網站訪問量、業務需求量會激增。

我們知道，阿里巴巴作為中國網際網路行業三巨頭（BAT）中的一員，其旗下業務不僅僅是基於淘寶和天貓作為網購平台的電子商務服務，還包括螞蟻金融服務、菜鳥物流服務、大數據云計算服務、廣告服務、跨境貿易服務、阿里雲服務等網際網路服務。

但是，在每年的11月11日，只有電子商務服務才是最重要的，需要有最高的優先級，保證900多億交易量的業務可以流暢、安全地進行。

這一天，在阿里巴巴公司後台的數據中心中，其他的業務可能需要暫時貢獻出自己一部分網絡、伺服器、存儲資源，供電商平台調用，以保證電商平台最高的優先級。

而這一天之前的相當長的一段時間內，阿里巴巴公司數據中心的網絡管理員、伺服器管理員、存儲管理員需要加班加點地工作，在得到市場部門對這一年「購物狂歡節」可能達到的交易量的分析和預測後，對IT基礎架構平台的策略進行更改，並為電子商務服務的應用進行資源池中的再分配，保證最高優先級。

而在這一天之後，所有新設定的策略，都需要回退到通常狀態，新增資源可能也需要被回收。

除了阿里巴巴公司外，物流公司也需要根據這一天可能達成的訂單數量，對自己的IT基礎架構的配置和資源分配做一定修正，以保證物流業務正常進行。

此外，那些入駐天貓和淘寶的企業和賣家，尤其是一些中小企業，它們的網絡、計算和存儲資源可能並不充足，當這一天訂單激增的時候，需要通過「雲爆發」的服務方式，自動租用公有雲資源，而公有雲平台也會對針對使用情況進行自動計費。

這只是現代企業運作模式的一個縮影，不光是在每年的11月11日部分企業的IT基礎架構可能面臨巨大變化，比如春運時期的火車票訂票網站、考試結束後的教育部查分系統、開放選課後的大專院校學籍管理系統、國家刺激經濟政策出台後的股市交易系統、寒暑假或黃金周假期之前的旅遊公司的酒店和機票訂單系統，都可能會面臨著類似的壓力。

以上只是舉了一些案例。

從根本上看，這些壓力導致現在的IT基礎架構在大環境上已經發生了一些變化，無論雲服務提供商、電信運營商還是企業都會面臨這些變化。

• 伺服器虛擬化：由於x86計算機的CPU製造商生產的CPU越來越強大，內存製造商的內存容量越做越大，伺服器虛擬化技術應運而生。
  
  圖1.2所示為VMware伺服器虛擬化的基本邏輯架構。
  
  伺服器虛擬化技術不僅能在一台物理伺服器中實現多虛擬機和多應用，從而節省物理硬體成本和機房空間，還能通過虛擬機在線遷移技術實現動態資源分配和高可用性，大大提升應用的負載均衡和冗餘性。
  
  但是由於虛擬機會在集群內部漂移，而傳統的安全策略、QoS策略又是基於IP位址或埠的，這也意味著需要更複雜的策略。
  
  如今世界上每幾秒就會誕生一台新的虛擬機，而應用、伺服器、網絡、存儲又是分離的，這造成各種不同的系統管理員各司其職，無法通力合作，運維和管理效率低下。
  
  

圖1.2 VMware伺服器虛擬化的基本邏輯架構圖

• 層出不窮的新應用：抽象地來看，現代的IT應用架構無非是三個層面——前端（如Web介面、移動客戶端的介面）、應用（App）和資料庫（Database，簡稱DB）。
  
  用戶可能先登錄到前端介面才能使用應用，而真正使用應用時，又會調用後台資料庫。
  
  其間，後台可能還會調用應用加速、應用交付服務和防火牆服務，保證應用交付的速度、負載均衡和安全性。
  
  由於每一層的服務都會比較多，調用策略各不相同，令IT管理員頭疼的就是該如何去配置這些策略。
  
  因此，當遇到層出不窮的新應用，或是需求量激增或激退時，策略修改就成了一件重要卻又極其繁瑣的工作。
  
  

• 雲計算：幾年前，當「雲計算」剛剛提出的時候，很多人還覺得這個概念還是「雲裡霧裡」的。
  
  而現在，「雲計算」概念已深入人心。
  
  雖然業內對雲計算還沒有一個明確的定義，但也有了一定的共識。
  
  根據NIST（美國國家標準與技術研究院）的說法，只要一個數據中心擁有「快速彈性的架構」和一個「資源池」，可以提供「按需自助服務」且這些服務是「可測量的服務」，而資源池裡的服務最終是可以被「寬頻接入」訪問的，那麼它就是一個「雲」。
  
  雲的服務方式分三種——架構即服務（IAAS）、平台即服務（PAAS）、軟體即服務（SAAS）。
  
  雲的部署模式分為公有雲、私有雲、混合雲、社區雲四種。
  
  雲計算的特性、服務模式和部署模式如圖1.3所示。
  
  然而「按需自助服務」，即雲計算的最終目標——「像用水、用電一樣用IT」，實現得並不完美。
  
  伺服器虛擬機技術已經使得我們可以對計算資源和存儲資源實現基本的按需自助式服務，但是我們卻很難對物理網絡資源進行資源調度，導致數據中心運維和管理極其複雜和繁瑣。
  
  此外，由於基於物理網絡設備對數據中心網絡進行擴展實現得並不理想，「快速彈性的架構」也沒有達到適合雲計算的要求。
  
  我們需要使用一種全新的網絡架構去實現雲計算提出的這些要求。
  
  

圖1.3 雲計算的基本特徵、服務模式和部署模式

• 數據中心的合併：越來越多的企業為了減少機房投入（包括機房場地租用、耗電、製冷、運維成本），會將全部或部分應用，或者是災備應用遷移至公有雲，這就需要在私有雲與公有雲之間打通一個隧道。
  
  實力雄厚的公司，也可能使用類似「兩地三中心」的數據中心解決方案，在異地數據中心之間跨越三層鏈路，打通網絡連接，實現更高的冗餘性。
  
  當然，這意味著網絡策略更加複雜。
  
  

在這裡，我們做一個小小的總結：網絡、伺服器虛擬化、存儲技術的發展，要求管理員可以便捷地管理數量更多、部署更加複雜的設備，從而面對更大流量的應用並可以迅速地讓應用上線和下線。

但是在當前的大環境下，如何去實現它並減少誤操作率和故障恢復時間呢？這樣的變化趨勢最初主要發生在數據中心，但後來在企業網、運營商都出現了這樣的變化。

因此，我們需要像牛頓改變數學去適應物理學的變化一樣，去改變網絡基礎架構，從而去適應應用的變化。

在這樣的背景下，SDN技術出現了。

1.1.3 SDN發展歷史

在SDN出現之前，控制平面和轉發平面是耦合的（在同一個機箱之內，或者直接相連的多機箱系統內）。

這種多平面間的緊耦合導致的互相依賴產生了系統的技術革新、穩定性以及規模問題，而規模問題最終可能導致性能問題——一個網元就是一個「黑盒子」（box），數據中心的機房是以box-by-box的方式部署的，當網絡管理員需要修改配置或策略時，必須登錄每一台設備。

但是當網絡設備達到幾千台，物理伺服器達到幾萬台時，網絡管理員該怎麼辦呢？前文討論的問題，很多都是因為控制平面和轉發平面的耦合而造成的。

可能在那個年代，還沒有這樣大規模的數據中心，但是史丹福大學的博士研究生馬丁·卡薩多（Martin Casado，見圖1.4）敏銳地發現了這個在未來IT界可能出現的問題。

他的研究課題是實現一個靈活的、能夠像計算機一樣可編程的網絡系統。

2004年，他領導了一個關於網絡安全與管理的科研項目，2006年，這個項目的研究成果被發表——一個名為Ethane的網絡模型，這個模型包括了現今SDN架構中的兩個重要內容：基於流表的轉發和中央控制器。

圖1.4 馬丁·卡薩多

卡薩多的導師是業內大名鼎鼎的尼克·麥考恩（Nick McKeown）教授（見圖1.5）。

麥考恩非常重視卡薩多的Ethane項目，給了卡薩多很多建設性的指導和啟發。

在研究過程中他們倆覺得，如果將Ethane的設計更進一步，將傳統網絡設備的控制平面和轉發平面兩個功能模塊進行分離、解耦，通過集中式的控制器以及可編程的標準化接口，可以便捷地對各種網絡設備進行配置和管理。

這樣一來，網絡的設計、部署、管理和使用就有了更多的可能，控制平面與轉發平面的解耦也更利於推動網絡行業的革新和發展。

卡薩多和麥考恩從而開始著手研究一款叫做NOX的控制器，希望將這個控制器作為單獨的控制平面。

他們進而發現，如果每台交換機能對這個控制器提供一個標準的統一接口，那麼控制起來就會非常方便。

於是師徒兩人著手開發這個控制器對交換機接口的控制協議——具有劃時代意義的Openflow協議就誕生了。

非常幸運，Ethane最終沒有成為一篇設計精巧卻深奧難懂的大學論文。

圖1.5 尼克·麥考恩

麥考恩和卡薩多為了進一步提出SDN的概念，邀請了加州大學伯克利分校的斯科特·申克（Scott Shenker）教授加入了自己的團隊，他們3人於2007年成立了Nicira公司。

2008年3月，麥考恩在ACM SIGCOMM（ACM組織在通信網絡領域的旗艦型會議，也是目前國際通信網絡領域的頂尖會議）上發表了著名論文OpenFlow: Enable Innvations in Campus Network。

OpenFlow這個名詞第一次浮出水面，引起業內廣泛關注。

麥考恩明確提出了OpenFlow的現實意義——在不改變物理拓撲的情況下，分離控制平面和轉發平面，實現網絡的集中管理和控制並不影響正常的業務流量。

之後幾年，Nicira不斷完善其基於SDN的網絡虛擬化解決方案——其主要利潤來自其基於OpenFlow和Open vSwitch（OVS）創建的網絡虛擬平台（NVP），為AT&T、eBay、NTT以及Rackspace等IT巨頭的超大規模數據中心提供SDN和網絡虛擬化平台，實現它們的數據中心自動化。

Nicira還作為發起者領導了OpenStack的網絡項目Quantum（即後來的Neutron）的開發。

2012年7月，VMware公司宣布以12.6億美元收購Nicira公司。

VMware在收購了Nicira後，目標方針非常清晰——將Nicira的網絡虛擬平台解決方案融入自己的伺服器虛擬化解決方案，所有的網絡高級功能全部通過伺服器內部虛擬化軟體完成，硬體網絡設備就可以只需要處理轉發。

這個解決方案就是NSX網絡虛擬化解決方案。

1.2 認識SDN

介紹完為什麼需要SDN和SDN的起源後，是時候介紹SDN到底是什麼了。

理解SDN架構，對於理解VMware NSX網絡虛擬化解決方案的三個平面架構以及其邏輯網絡、物理網絡解耦的設計，是非常重要的——SDN的核心思想是控制平面與轉發平面的分離，這與NSX中管理平面、控制平面和數據平面的設計如出一轍。

SDN其實直到現在也沒有清晰的定義，但是其核心理念已逐漸被人們接受。

本章將下來會討論SDN的理念、架構，以及它如何面對當前的IT難題。

1.2.1 SDN是什麼

SDN是Software Defined Network的縮寫。

正如業內很難回答「雲計算」的定義是什麼一樣，業內也很難回答SDN的定義。

但是SDN在經歷了幾年的發展後，業內也對其概念達成了一個基本的共識。

前文已經介紹了SDN的歷史，在這裡我們介紹一下SDN的模糊定義。

SDN其實並不是一種技術，也不是一種協議，它只是一個體系框架，一種設計理念。

這種框架或理念要求網絡系統中的控制平面和轉發平面必須是分離的。

在轉發平面，它可能希望與協議無關，管理員的意志最重要。

管理員可以通過軟體來執行自己的意志，控制轉發行為，並驅動整個網絡。

除此之外，SDN的理念還希望控制器與轉發平面的接口標準化，我們把這樣的接口稱為南向接口。

因為如果軟體想要真正控制轉發行為，就應該儘量不依賴特定的硬體。

除了硬體設備，該控制器也可以對網絡中的應用程式進行集中控制，一般來說這是通過硬體提供一些可編程的特性來實現的。

控制應用程式的接口稱之為北向接口。

當前業內比較認可的SDN的特徵屬性如下：

• 控制平面與轉發平面分離；

• 開放的可編程接口；

• 集中化的網絡控制；

• 網絡業務的自動化應用程序控制。
  
  

其中前兩點是SDN的核心。

如果一個網絡系統具備了這兩點特徵，那麼就可以寬泛地認為這是一個SDN架構。

OpenFlow作為目前主流的南向接口協議，這個名詞當然被炒得火熱，有人認為SDN就是OpenFlow。

這是不正確的。

因為SDN是一種框架，一種理念，而OpenFlow只是實現這個框架的一種協議。

如今，VMware公司、Cisco公司和Microsoft公司都在大力宣傳自己的網絡虛擬化（Network Virtualization）技術。

有人認為網絡虛擬化也是SDN，這種觀點是不完全正確的。

早期的網絡虛擬化雛形（如早期的Cisco Nexus 1000v和VMware內嵌在vSphere里的虛擬交換機），指的是在伺服器虛擬化平台中加一層虛擬交換機，用於與虛擬機連接，細分虛擬機的接口策略，而不是在伺服器網卡上用一個Trunk把所有VLAN封裝並連接上行鏈路。

而現在，網絡虛擬化特指實現方式是基於一種叫做Overlay技術（現在還沒有很好的中文翻譯，我們姑且先把它叫做「疊加網絡」技術）的網絡虛擬化。

有了這種技術，用戶可以突破一個網絡系統中的VLAN數量、MAC地址容量等的限制，輕鬆跨越三層網絡打通二層隧道，對於超大規模數據中心、多租戶數據中心、雙活/災備數據中心來說，這種技術相當合適。

Overlay可以由物理網絡搭建，也可以通過伺服器的hypervisor來搭建。

通過物理網絡搭建的Overlay並沒有真正實現控制平面和轉發平面的分離，不符合SDN特徵。

通過伺服器的hypervisor搭建的Overlay，即基於主機的Overlay，現在一般會有集中的管理平面和控制平面，以及分離的轉發平面。

因此，網絡虛擬化是SDN發展到一定階段的必然趨勢，可能是SDN的一個分支，但不是SDN本身。

因此，有人把基於主機的Overlay稱為新一代SDN，因為它和第一代SDN有很大區別。

本書的重點——VMware NSX網絡虛擬化解決方案正是基於SDN思想的網絡虛擬化的絕佳解決方案，是新一代SDN，後文會詳細闡述。

一些運營商和軟體廠商現今正在推廣自己的網絡功能虛擬化（Network Function Virtualization，NFV）技術。

NFV也不是SDN，它的目標是利用當前的一些虛擬化技術，在標準的硬體設備上運行各種執行網絡功能的軟體來虛擬出多種網絡設備。

由於這些虛擬的網絡設備（如虛擬交換機、虛擬路由器、虛擬防火牆、虛擬負載均衡設備）可能會有統一的控制平面，因此NFV和SDN是一種互補的關係。

VMware NSX具備NFV的屬性——NSX使用x86伺服器的軟體來實現各種網絡功能，但由於NSX中的Overlay屬性過於明顯，因此VMware更願意將NSX解決方案稱為一種網絡虛擬化解決方案，而不是NFV解決方案。

另外，近來一些熱門詞彙如Openstack、Cloudstack、OVS等，與SDN都沒有任何直接的關係。

其中Openstack和Cloudstack是雲管理平台，而OVS之前已經提到過了，是SDN鼻祖Nicira公司開發的一款虛擬交換機，現在已經開源。

這些新技術和SDN也是一種互補的關係，可以共同實現融合解決方案。

1.2.2 SDN架構

圖1.6所示為SDN架構中的各個層面，它直觀地闡述了SDN架構，我們具體解釋一下圖中的各個層面。

圖1.6 SDN架構中的各個層面

• 基礎設施層：該層主要是網絡設備，可以將這一層理解為「轉發平面」。
  
  這些工作在「轉發平面」的網絡設備可以是路由器、物理交換機，也可以是虛擬交換機。
  
  所有的轉發表項都貯存在網絡設備中，用戶數據報文在這裡被處理和轉發。
  
  網絡設備通過南向接口接受控制層發來的指令，產生轉發表項，並可以通過南向接口主動將一些實時事件上報給控制層。
  
  

• 南向接口：南向接口是負責控制器與網絡設備通信的接口，也就是控制層和基礎設施層之間的接口。
  
  在SDN的世界裡，人們希望南向接口標準化（這只是一個理想，還未成為現實，但OpenFlow協議是目前主流的南向接口協議，未來能否成為標準協議也有待觀察）。
  
  只有這樣，SDN技術才能擺脫硬體的束縛，否則SDN技術永遠只能是特定的軟體用於特定的硬體上。
  
  

• 控制層：該層就是前文所說的「控制平面」，該平面內的SDN控制器可能有一個，也可能有多個；可能是一個廠家的控制器，也可能是多個廠家的控制器協同工作。
  
  一個控制器可以控制多台設備，甚至可以控制其他廠家的控制器；而一個設備也可能被多個控制器同時控制。
  
  一個控制器可以是一台專門的物理設備（如NEC的SDN控制器），也可以運行在專門的一台（或多台［成集群工作］）物理伺服器上（如Cisco的APIC），也可以通過虛擬機的方式部署在虛擬化環境中（如VMware NSX Controller）。
  
  

• 北向接口：北向接口指的是控制層和應用之間的接口。
  
  在SDN的理念中，人們希望控制器可以控制最終的應用程式，只有這樣才能針對應用的使用，合理調度網絡、伺服器、存儲等資源，以適應應用的變化。
  
  目前北向接口尚未標準化，也沒有類似OpenFlow這樣的主流接口協議。
  
  一些組織和公司希望將其標化，但是非常困難——它和南向接口的標準化相比，顯得異常複雜，因為轉發平面畢竟萬變不離其宗，容易抽象出通用接口，而應用的變數則太多了。
  
  

• 應用層：該層主要是企業的最終應用程式，通過北向接口與控制層通信。
  
  該層也可能包括一些服務，如負載均衡、安全、網絡監控等，這些服務都是通過應用程式表現的。
  
  它可以與控制器運行在同一台伺服器上，也可以運行在其他伺服器上，並與控制器通信。
  
  該層的應用和服務往往通過SDN控制器實現自動化。
  
  前文所說的一些時段應用以及服務需求量的激增和激退，在SDN的環境裡應當自動完成。
  
  對於這種自動化，英文資料中經常使用一個叫Orchestration的名詞，該詞的原意是「管弦樂」、「樂曲編排」、「和諧演奏」，在這裡可以引申為將各種技術糅合在一起，實現數據中心的自動化，最終達到為應用提供最好的服務效果。
  
  

1.2.3 SDN如何應對當前IT環境

介紹完SDN的幾個工作層面，接下來討論SDN究竟如何應對前文提到的IT行業架構遇到的問題。

SDN解決這些問題的核心思想是改變傳統網絡中控制數據流的方式。

在傳統網絡中，報文從源轉發到目的的過程中，轉發行為是逐條控制並獨立進行配置的，這種控制也不是統一的。

而SDN是將每台設備里的控制平面剝離出來，放到一個控制器中，由這個控制器通過統一的指令來集中管理轉發路徑上的所有設備。

這個控制器知曉整網的拓撲，知曉轉發過程中所有的必需信息，而且上層應用程式也可以通過控制器提供的API以可編程的方式進行控制，這樣可以消除大量手工配置（無需管理員登錄到每一台設備上進行配置），從而大大增加了網絡靈活性和可視性，提高了部署和維護效率。

我們來解析一個SDN的應用案例：一個對外提供服務的託管數據中心，需要增加一個租戶，並為這個租戶增加一台新的虛擬機。

在SDN環境中，只要管理員將其屬性定義好，管理平台就可以自動按照其所需資源進行配置——申請多少內存，申請多大容量的存儲空間，虛擬網絡和物理網絡的路由策略、安全策略、負載均衡策略，都是自動完成的。

而這一切的配置都可以通過SDN控制器自動發布到各個設備中。

這樣一來，一個業務上線的時間，可能由10小時縮短為10分鐘——如果沒有SDN，網絡管理員、伺服器管理員和存儲管理員必須通力合作，在不同的網絡設備、伺服器虛擬化軟體、存儲設備上進行逐步配置和資源分配，而且中間還可能會產生錯誤配置。

這也解決了我們之前提到的網絡資源無法實現按需自助式服務的問題。

此外，SDN還可以更細顆粒度地進行流量優化。

Nicira創始人、SDN的提出者卡薩多先生曾經用一個生動的比喻形容數據中心內部的流量：小股數據流構成的突發流量稱為「老鼠流」，持久且負載較高的穩定流量則稱為「大象流」。

對於數據中心中大多數流量的性能問題，我們都可以將其視為大象踩著老鼠前進的狀況，而從用戶的角度看，就是持久穩定的流量擠占了小股突發流量的資源。

而在SDN的幫助下，系統可以對流量進行智能識別。

換句話說，基於SDN的網絡系統會辨認出其是否屬於大象流，並對這些流量加以優化、標記、識別，確保它不會踩著老鼠前進，這樣就達到了大象流和老鼠流的共存。

這是因為在SDN架構中，控制器可以知曉全網的拓撲和健康狀況。

SDN的引入還能防止廠商鎖定。

只要設備支持SDN，支持可編程，那麼系統管理員就可以通過南向接口和北向接口，通過控制器對設備進行控制，改變轉發行為。

這也是Google、Facebook在其內部數據中心大力推進SDN的原因之一。

廠商鎖定問題不僅帶來成本問題（尤其是大型數據中心網絡），還會受其創新能力、私有協議的限制，帶來擴展性和維護方面的問題。

而有了SDN後，網絡管理員需要學習的知識大大減少——異構設備、私有協議等都大大減少了，只要SDN控制器的介面足夠友好和美觀即可。

就算SDN控制器的介面操作性一般，如果網絡管理員的編程能力強，部署和運維也就不是問題。

當然，真正解決了廠商鎖定的問題之後，可能會導致白牌交換機大行其道，這顯然是網絡硬體廠商不願意看到的。

理論上，越是複雜的網絡越適用SDN架構。

在當前的大型複雜數據中心中，如果現有網絡問題到了非解決不可的時候，也就是SDN發揮其用武之地的時候。

1.2.4 SDN相關的組織以及廠商對SDN的態度

由於各個設備和軟體廠家、各個大專院校和研究機構對一項技術有不同的理解，這就需要成立一個組織去推動這項技術的發展，如推動網絡協議標準制定的IEEE和IETF。

按常理來說，一項技術只應由一個標準組織去推動，這樣才可以集中力量將其標準化，但是事與願違——不同的廠家和科研機構有不同的見解和利益關係，這就產生了分歧，導致出現了多個組織去推動某一項技術的發展，SDN也不例外。

此外，各大IT廠商由於在產品線、功能和特性上的差異，因此它們看待SDN的角度也不盡相同，應對SDN浪潮的手段也不同。

目前，SDN領域最具影響力的組織就是ONF（Open Networking Foundation）了。

它由Google、Facebook、Microsoft等公司共同發起（這些發起者都不是網絡設備製造商），成立於2011年，是最早著手定義並希望推動SDN標準化的非盈利組織，其科研和活動經費來自於會員公司的贊助和年費。

該組織成立至今已有近5年時間，其主要工作成果就是制定了OpenFlow、OF-Config版本的標準。

該組織也是全球範圍內各個廠商間SDN互通互聯測試的組織人和協調人，並定期組織學術研討會。

在SDN被提出後的很長一段時間，ONF都是唯一的標準化組織，但是2013年4月，18家IT廠商聯合推動了ODL（Open DayLight）的成立。

這18家廠商是Brocade、Cisco、Citrix、Ericsson、IBM、Juniper、Red Hat、Microsoft、NEC、VMware、Arista Networks、Fujitsu、HP、Intel、PlumGrid、Nuage Networks、Dell與Big Switch（後退出）。

這18家公司絕大部分是IT行業內的巨頭，多為網絡設備製造商，它們不滿ONF制定的遊戲規則，另起爐灶。

表1.1比較了ONF和ODL這兩個組織的異同。

表1.1 ONF和ODL的比較

ONF (Open Networking Foundation)	ODL (Open DayLight)
發起者	Google、Facebook、Microsoft	Big Switch、Brocade、Cisco、Citrix、 Ericsson、IBM、Juniper、RedHat、 Microsoft、NEC、VMware、Arista Networks、Fujitsu、HP、Intel、 PlumGrid、Nuage Networks
成立時間	2011年	2013年
宗旨	制定SDN標準，推動SDN產業化	打造統一開放的SDN平台，推動SDN產業化
工作重點	制定唯一的南向接口標準OpenFlow，制定硬體轉發行為標準	不制定任何標準，而是打造一個SDN系統平台，利用現有一些技術標準作為南向接口
與OpenFlow的關係	OpenFlow是其唯一的南向接口標準	OpenFlow是其南向接口標準中的一個
北向接口	目前沒有做任何北向接口標準化的工作，而且不傾向於標準化北向接口	定義了一套北向接口API
轉發平面的工作	通過OpenFlow定義轉發平面標準行為	不涉及任何轉發平面工作，對轉發平面不做任何假定和設定

不難看出，ONF站在網絡用戶的角度，希望徹底擺脫廠商鎖定，希望所有的接口都能被標準化，而硬體也應當是標準化的硬體，可以由標準的OpenFlow協議去管理。

但由設備廠商主導的ODL不同，它們希望部分接口被標準化，保證設備廠商的利益，防止白牌交換機侵蝕其市場。

此外，運營商和一些軟體公司基於SDN的一些想法，提出NFV（前文有提到）。

史丹福大學、加州大學伯克利分校聯合了一些IT公司，建立了開放網絡研究中心（Open Networking Reserch Center，ONRC）。

IEEE、IETF這兩個網絡界的龍頭組織也有一些想法，由於不是本書重點，在這裡不多贅述。

儘管網絡設備製造商聯合發起了ODL組織，但是它們並沒有拋棄ONF。

換句話說，由於OpenFlow巨大的影響力，網絡設備廠商還沒有牛到能完全另起爐灶的程度。

Google、Facebook旗幟鮮明地站在ONF這邊，沒有加入ODL。

Amazon是個特例，它既沒加入ONF，也沒加入ODL，而是封閉式地發展自己的AWS（Amazon Web Service）。

而那些耳熟能詳的網絡設備製造商或軟體公司，如Brocade、Cisco、Citrix、Juniper、IBM、NEC、VMware、Arista Networks、Dell、Alcatel-Lucent、H3C、華為，都既是ONF會員，也是ODL的黃金/白銀會員。

這些廠商都開放了自己物理或虛擬網絡設備的接口，可以將自己的設備交給SDN控制器管理。

然而，這些IT廠商也都會在自己的交換機中加入有自己特色的東西，否則自己的設備豈不是任由其他廠家擺布，任由別人的控制器來定義了嗎？因此，這些IT巨頭們有些靠自己研發，有些靠併購，希望在SDN浪潮下不至於被競爭對手落下。

它們大多使用Hybrid模式，而非純OpenFlow的方法來實現SDN。

對於自己設備的可編程接口，除了支持OpenFlow外，還加入了JSON API、XMPP、Phyton API等。

在晶片方面，它們有些使用商用晶片，有些混合使用商用晶片和自研晶片。

而這些內部研發和併購中，又以VMware收購Nicira和Cisco收購Insieme最為重磅——VMware收購Nicira後推出的NSX解決方案、Cisco收購Insieme後推出的ACI解決方案，都是將SDN和近年興起的網絡虛擬化技術完美融合在了一起。

而Microsoft作為史上最成功的IT公司之一，自然不甘落後，Hyper-V在Windows Server 2012版本中也增加了基於其自主研發的NVGRE協議的網絡虛擬化功能。

但Microsoft並沒有特彆強調SDN，且刻意淡化OpenFlow（雖然它們是ONF的發起者和核心會員，且加入了ODL）。

此外，Juniper收購SDN初創公司Contrail後也推出了同名的Contrail解決方案。

這些不同廠商之間的解決方案的比較，會在下一章詳細分析。

1.3 網絡虛擬化的興起

前文已經提到，網絡虛擬化是雲計算和SDN發展到一定階段的產物，因此可以認為網絡虛擬化是新一代的SDN。

而雲計算又是隨著伺服器虛擬化技術飛速發展而誕生的。

因此，我們從介紹伺服器虛擬化技術開始，引入網絡虛擬化技術。

早期的網絡虛擬化與現在的網絡虛擬化在架構上有很多的不同，這會在本節中進行介紹，以使得讀者在後續章節更好地理解VMware NSX網絡虛擬化技術。

1.3.1 伺服器虛擬化的日趨成熟

近年來，伺服器虛擬化技術被炒得火熱，也日趨成熟。

它是伴隨著x86計算機性能飛速發展的產物——CPU的處理能力越來越強，內存容量越來越大，如果一台x86伺服器只安裝一個作業系統、一個應用，就會產生大量閒置資源。

於是有人就在考慮一個問題：為什麼一台伺服器里不能運行多套作業系統，同時使用多個應用呢？這樣CPU和內存的閒置資源是不是就能得到有效利用了嗎？終於在1999年，成立不到一年的VMware公司推出了業界第一套x86計算機的虛擬化軟體，多作業系統可以安裝在一台基於x86的PC或伺服器里。

之後，該軟體還內建了對網絡的支持，同一台物理伺服器里的不同虛擬機可以在物理伺服器內部進行通信，而不需要經過外部網絡（當然在當時這個功能需要虛擬機同屬一個IP子網）。

2003年，存儲巨頭EMC公司斥資6.35億美金，收購了成立僅5年的虛擬化軟體初創公司VMware，這樁收購在後來被很多人認為是IT史上的最佳收購，沒有之一——之後的十多年，VMware的市值翻了幾乎100倍，成為了領航伺服器虛擬化行業的公司。

為什麼伺服器虛擬化技術如此吃香？隨著IT行業的發展，人們需要隨時接入網際網路，使用網際網路上的各種應用，應用需求就會因此一直增長。

如果新的應用通過安裝在物理伺服器上來實現，以現在的應用需求量來看，IT管理員可能根本無法忍受伺服器的採購流程和上架安裝時間，因此企業在需要增加應用時，希望通過虛擬化的方式進行便捷地擴展。

另外，如果需要實現物理伺服器的冗餘，需要通過1:1的方式，即每個應用都安裝在兩台伺服器里，伺服器購買量與不做冗餘的情況相比，增加了一倍，由此增加的成本可想而知。

而使用了虛擬化，可以使用N+1的方式實現冗餘，即多台物理伺服器共享1台備用伺服器，在出現故障時進行迅速在線遷移。

這種遷移過程也是可動態資源分配的，實現了伺服器的負載均衡。

除此之外，通過虛擬化，不僅實現了之前提到的伺服器閒置資源的高效利用，還節省了機房面積、製冷成本、用電成本，符合每個國家都在推行的綠色環保和可持續發展戰略。

除了VMware外，Microsoft公司和Citrix公司在2008年也開始推出自己的虛擬化平台。

其中Microsoft公司的Hyper-V解決方案，是Windows Server的一個新功能——底層安裝了Windows Server後，可以在此之上開啟虛擬機，跨物理伺服器的虛擬機也可以被統一管理，有一致的安全和在線遷移策略（Microsoft的公有雲Azure也是基於Hyper-V搭建的）；Citrix公司的伺服器虛擬化方案叫做XenServer，它通過收購劍橋大學開發的Xen開源系統並進行了再開發，主要用於其桌面虛擬化和應用虛擬化產品的底層系統。

亞馬遜的公有雲服務AWS也是基於這個開源的Xen系統搭建的。

此外使用較多的還有Red Hat公司主導的KVM開源虛擬機系統。

伺服器虛擬化的飛速發展，讓人們開始有了遐想空間——我們能否把網絡也做成虛擬的，讓一套物理網絡承載多套邏輯網絡，並可以通過編程的方式快速部署網絡，解決數據中心仍然存在的問題（如自動化部署和運維問題、規模問題、流量不優問題、成本問題），且能將解決方案完美融合到現在的多租戶數據中心環境中？

1.3.2 網絡虛擬化的起源和發展

現今的網絡虛擬化技術（特指基於主機Overlay的網絡虛擬化技術）之所以會興起，是因為現今的數據中心架構中存在三個問題。

隨著伺服器虛擬化的飛速發展，網絡虛擬化也被提出，用來解決數據中心存在的這些問題。

• 虛擬機遷移範圍受到網絡架構限制——網絡的複雜性伺服器虛擬化的發展催生了一種叫做「虛擬機遷移」的技術，這在數據中心實現動態資源分配和高可用性時尤為重要。
  
  如果虛擬機從一個物理機上遷移到另一個物理機上，要求虛擬機不間斷業務，則需要其IP位址、MAC地址等參數保持不變，這就要求數據中心網絡是一個二層網絡，且要求網絡本身具備多路徑的冗餘和可靠性——各大網絡廠家在提的「大二層」技術，其實主要都是為虛擬機遷移和存儲的備份複製服務的。
  
  傳統的生成樹（Spaning Tree Protocol，STP）技術部署繁瑣，且協議複雜，網絡規模不宜過大，它限制了網絡在虛擬化環境中的擴展性——一旦規模大了，生成樹就很難控制，就會產生環路等網絡問題，甚至導致整網癱瘓。
  
  基於各廠家私有的IRF/VPC等技術，雖然可以消除生成樹，簡化拓撲，具備高可靠性，但是靈活性上有所欠缺，只適合構建小規模網絡。
  
  而為了適應大規模網絡擴展而推出的TRILL/SPB/FabricPath等技術，雖然解決了上述技術的不足，但網絡中的設備均要軟硬體升級來支持此類新技術，這帶來部署成本的上升，且該技術也沒有解決下面會提到的兩個問題，即MAC和VLAN的限制問題。
  
  

• 虛擬機規模受網絡規格限制——網絡備MAC地址表數量級不夠在大二層網絡環境下，數據流都需要通過明確的網絡尋址以保證準確到達目的地，因此網絡設備的二層地址表項大小（即MAC地址表），成為決定了雲計算環境下的虛擬機的規模上限。
  
  而且這個二層地址表項並非百分之百有效，這使得可用的虛擬機數量進一步降低。
  
  特別是對於低成本的接入交換機設備而言，因其表項一般規格較小，更加限制了整個數據中心中的虛擬機數量——如果接入交換機的地址表項設計為與核心設備在同一檔次，則又會提升網絡構建的成本。
  
  減小接入設備壓力的做法可以是分離網關，如採用多個網關來分擔虛擬機的終結和承載，但這樣也會帶來成本的上升——核心或網關設備是不是要多購買一些？

• 網絡隔離/分離能力限制——網絡設備的VLAN數量不夠當前的主流的網絡隔離技術為VLAN，它在大規模虛擬化環境中部署會有兩大限制：一是VLAN數量在標準定義中只有12個比特，即可用的數量為4000個左右（精確數量為4096，但由於有一些保留VLAN不能使用，姑且稱之為4000左右），這樣的數量級對於公有雲或大型雲計算的應用而言是遠遠不夠的——其VLAN數量會輕而易舉地突破4000；二是VLAN技術當前為靜態配置型技術，這樣一來在整個數據中心網絡中，幾乎所有VLAN都會被允許通過（核心設備更是如此），任何一個VLAN下的目的未知的廣播數據包都可能會在整網泛洪，非常消耗網絡交換能力和帶寬。
  
  

對於小規模的雲計算虛擬化環境，現有的網絡技術如虛擬機感知（VEPA/802.1Qbg）、數據中心二層網絡擴展（TRILL/SPB/FabricPath）、數據中心間二層技術（EVI/OTV）等，可以很好地滿足業務需求，上述限制可能不會成為瓶頸。

然而，這些技術完全依賴於物理網絡設備本身的技術改良，目前來看並不能完全解決大規模雲計算環境下的問題，在一定程度上還需要更大範圍的二層技術革新來消除這些限制，以滿足雲計算環境的網絡需求。

在這樣的趨勢下，網絡虛擬化架構開始浮出水面，它基於的是一種叫做Overlay的技術。

Overlay指的是一種在網絡上疊加網絡的虛擬化技術，其名字是根據底層物理網絡層Underlay而取的，其大體框架是對基礎網絡架構不進行大規模修改的情況下，實現應用在網絡上的承載，並能與其他網絡業務分離。

這種模式其實是對傳統技術的優化而被提出的——行業內早期就有了支持Overlay的技術，如RFC 3378（EtherIP：Tunneling Ethernet Frames in IP Datagrams）就是早期的在IP網絡之上運行的二層Overlay技術。

後來，H3C與Cisco都在物理網絡的基礎上發展了各自的私有二層Overlay技術——EVI（Ethernet Virtual Interconnection）與OTV（Overlay Transport Virtualization）。

EVI與OTV都主要用於解決數據中心之間的二層互聯與業務擴展問題，對於承載網絡的基本要求是IP可達，而且在部署上相當簡單且擴展方便。

但是，它們仍舊沒有解決前文所說的大型數據中心的三個問題。

圖1.7很好地闡述了Overlay的工作機制——Overlay以服務的形式，運行在底層物理網絡之上，設備到設備間的訪問無需關心物理路徑。

這也有利於數據中心的二層鏈路的建立。

它非常像VPN的工作機制，即通過封裝使得特定流量在隧道中進行通信。

這種工作機制是通過物理網絡設備完成的隧道封裝來實現的。

隨著雲計算和虛擬化技術的發展，基於主機虛擬化的Overlay技術開始出現，我們可以在伺服器Hypervisor內的虛擬交換機上支持基於IP的二層Overlay技術，從更靠近應用的地方來提供網絡虛擬化服務，其目的是使虛擬機的部署與應用承載脫離物理網絡的限制，使雲計算架構下的網絡形態不斷完善，虛擬機的二層通信可以直接在Overlay之上承載。

因此，Overlay可以構建在數據中心內，也可以跨越數據中心進行構建，異地數據中心的二層問題迎刃而解。

圖1.7 Overlay的工作機制

現在，Overlay也支持從主機到物理網絡的模式，即從虛擬交換機到物理交換機的Overlay。

三種Overlay的部署模型如圖1.8所示。

圖1.8 基於物理網絡、主機和混合模式的Overlay

2008年，Cisco公司和VMware公司聯合開發了一款虛擬交換機——Nexus 1000v系列，它在VMware虛擬交換機的基礎上，增加了很多網絡功能，如安全功能、更強的QoS和可視化，可以與物理網絡（Nexus交換機）實現一致的策略和統一的命令行配置，使得網絡管理員可以有效地管理基於虛擬機的網絡，並統一管理物理網絡。

後來，兩家公司聯合研發了VXLAN協議，並將運用在vSphere分布式交換機（VDS）和Nexus 1000v之上，這使得用戶可以在不同虛擬機之間建立隧道，在一套物理網絡中構建多拓撲的虛擬網絡。

這就是最早的基於主機虛擬化的Overlay。

這種基於主機虛擬化的Overlay的出現解決了以下問題。

• 虛擬機遷移範圍受到網絡架構限制Overlay是一種IP報文封裝技術，具備大規模擴展能力，對設備本身沒有特殊要求。
  
  而且網絡本身具備很強的故障自愈能力、負載均衡能力。
  
  採用Overlay技術後，企業部署的現有網絡便可用於支撐新的雲計算業務，而且改造難度也較低。
  
  

• 虛擬機規模受到網絡規格限制虛擬機的IP數據包在封裝之後，對網絡只表現為封裝後的網絡參數，即隧道端點的地址。
  
  因此，對於承載網絡（特別是接入交換機）而言，MAC地址規格的需求就極大降低了，當然，對於核心設備表項（MAC/ARP）的要求依然較高。
  
  當前的解決方案仍然是採用分散方式，通過多個核心設備來分擔表項的處理壓力。
  
  

• 網絡隔離/分離能力限制針對VLAN數量約4000的限制，Overlay技術中引入了類似12比特的VLAN ID的用戶標識，並用24比特進行標識，可以支持2的24次方，即千萬級以上的VLAN數量。
  
  其實在這裡很難稱這是VLAN數量了，Overlay在這裡沿襲了雲計算「租戶」的概念，將其稱之為千萬級的Tenant ID（租戶標識）數量。
  
  針對VLAN技術下網絡的Trunk All（所有VLAN穿越所有設備）問題，Overlay對網絡的VLAN配置沒有要求，可以避免網絡本身的無效流量帶來的帶寬浪費——流量都是經過隧道封裝來完成的，無需在埠允許所有VLAN（或租戶）通過。
  
  同時，Overlay的二層連通基於虛擬機業務需求創建，在雲環境中全局可控，可以通過雲管理平台觀察到全局的健康狀況和流量負載。
  
  

在很長一段時間內，Nexus 1000v系列交換機是業內唯一一款擁有高級功能的虛擬交換機，因此Nexus 1000v幾乎壟斷了市場，VMware獲得了支持自己虛擬機所需的高級網絡功能，Cisco則通過向部署VMware虛擬化平台的用戶收取Nexus 1000v license費用來獲得利潤。

這種狀況隨著Nicira的橫空出世而改變——Nicira提出的完整網絡虛擬化平台（NVP）逐漸開始為AT&T、eBay、NTT以及Rackspace等IT巨頭的數據中心提供虛擬交換平台，它基於SDN理念，將它的NVP網絡虛擬化平台做的更好（因為Nicira本身就是SDN的提出者與OpenFlow的發明者），實現了Overlay層面的控制平面、轉發平面的分離，帶來了真正的新一代SDN和網絡虛擬化解決方案。

NVP平台使用OpenFlow作為控制協議，有自己的控制器，還有自己的虛擬交換機OVS（Open vSwitch）系統，是SDN和網絡虛擬化的完美結合。

它在諸多功能上都勝於Nexus 1000v，增加了更多網絡虛擬化功能，藉助OpenFlow的集中控制和管理，目標直指數據中心的複雜部署問題——它通過向雲計算管理平台提供的可編程接口，將數據中心的自動化變為可能，同時將虛擬機部署和運維難度大大簡化，效率大幅提高。

並且，Nicira通過研發STT這個私有的Overlay技術，也可以實現類似VXLAN的Overlay功能，這個技術還能通過一個偽裝的TCP包頭，使得伺服器網卡對大數據包進行分片，從而有效減輕伺服器的CPU負擔。

這是第一個真正基於SDN的網絡虛擬化平台，也是完整的網絡虛擬化解決方案架構。

之前的純Overlay技術，無論基於硬體還是基於Nexus 1000v，都不能認為是真正的、完整的網絡虛擬化解決方案——控制平面和轉發平面沒有分離。

當SDN結合了網絡虛擬化後， SDN已經發展到了第二階段，這就是新一代SDN。

它與之前的SDN有什麼不同呢？因為傳統SDN仍然是基於五元組（IP位址，源埠，目的IP位址，目的埠和傳輸層協議）的TCP/IP協議，這樣就意味著一個問題——改變了IP或埠，就改變了一切。

因此，傳統SDN並沒有完全消除網絡的複雜性，它只是把複雜性集中了起來。

在當前數據中心內部，虛擬機會因為高可用性或動態資源分配而遷移，在遷移過後，IP位址和埠都可能發生變化，這就意味著傳統SDN控制器要做的策略非常複雜，這些策略包括前文提到的為Web前端、最終應用、資料庫之間通信配置的各種策略。

要實現真正的自動化，必須使用網絡虛擬化，在數據中心內部消除五元組的TCP/IP協議，打通大二層網絡，通過MAC地址進行源目地址的尋址工作。

因此，SDN和網絡虛擬化這二者的結合，即新一代SDN才是未來自動化數據中心的趨勢。

Nicira提出的這個架構引起了業內的強烈震盪，也引來了很多融資，後來各大IT巨頭都希望斥資收購這家初創公司，尤其是Cisco和VMware——Cisco希望把Nicira的NVP平台融入自己的Nexus 1000v系統，做到真正的基於SDN的網絡虛擬化；而VMware認為自己是伺服器虛擬化行業的領頭羊，一旦收購Nicira，就可以搶占並不成熟的網絡虛擬化市場，這樣一來，它們的伺服器虛擬化平台之上就不用再部署Nexus 1000v，而且可以和其他的網絡供應商實現更好的融合方案。

VMware認為自己的伺服器虛擬化解決方案已非常成熟，一旦將伺服器虛擬化和網絡虛擬化解決方案進行整合，就可以搶占下一代自動化數據中心（SDDC）的市場。

最終，VMware笑到了最後。

2012年7月，它們收購了Nicira。

2013年，VMware在整合了自己的伺服器虛擬化產品、雲管理平台和前文提到的Nicira NVP平台後，推出了完整的網絡虛擬化解決方案，即NSX解決方案，這意味著VMware和Cisco的合作基本告一段落。

Cisco無奈在Nexus 1000v中逐漸加入了對Microsoft Hyper-V和KVM的支持，並於2013年年底發布了ACI解決方案。

而Microsoft和其他一些廠商也不甘示弱。

一場圍繞著網絡虛擬化的戰爭打響了。

---End---

需要加入 "VMware NSX愛好者" 微信群的朋友，可以私信我。

或者通過添加以下朋友的微信，請先告知您自己的姓名和所在公司：

AzureComet

sdg8848

libo9538

注意：VMware NSX愛好者的群公告為："本群討論VMware NSX為主，也可討論網絡技術。

歡迎轉髮網絡技術相關的招聘信息。

但不歡迎拉票、點讚等。

實在想發，請先發不低於50元的紅包，且紅包人數不多於30人"

-----------

微信公眾號平台"樂生活與愛IT"在目前階段，主要是分享軟體定義存儲(SDS)，及VMware VSAN相關的文章，偶爾也會分享虛擬化、雲計算、大數據，甚至生活雷的好文章，歡迎投稿。

歡迎對SDS感興趣的朋友，加入軟體定義存儲討論 QQ群:122295009，可下載原創的一些文章，及其他有參考價值的文檔。

可直接搜索群號，或者掃描如下二維碼：

同時，歡迎您加入 "開放討論群-SDS&虛擬化" 微信群，並邀請其他對SDS和虛擬化感興趣的朋友加入此微信群。

可以通過添加如下管理員之一的微信號，建議添加管理員時，告知你的公司名和姓名，方便備註保存。

sdg8848

libo9538

dts0103

最後，歡迎您通過掃描關注微信公眾號：「樂生活與愛IT」。

關注後，可以通過點擊左下角的「文章目錄」，詳細了解如何查看歷史文章。

也可單擊左下角的"閱讀原文"，查看最近幾周來，本公眾號的熱門文章《軟體定義存儲（SDS）的定義及其分類》