InfiniBand RapidIO 微伺服器 PCIe 資料中心 ToR 刀鋒 雲端

兼具高吞吐量/擴展性 RapidIO打造低延遲資料中心

2012-10-26
近來,由於刀鋒伺服器與微伺服器及儲存系統可作為基於傳統機櫃頂端(Top-of-Rack, ToR)系統的替代方案,因此獲得雲端資料中心業者顯著關注。
在一般雲端基礎設施中的伺服器與儲存系統,必須有較簡易的擴展性、高效率的虛擬化,以及低延遲互聯的高效能多核心處理器,以提供可靠的低功耗系統解決方案,同時也保證能提供低延遲性的使用者經驗。

刀鋒式架構相對於以機櫃頂端為基礎的系統,有著在機箱上的交換卡以及較少的上行電纜,因此可提供較低的成本和改善的可靠度。另一方面,微伺服器及儲存網路相較於刀鋒式解決方案,則被認為能夠提供較小的占板空間和較低的功率消耗。

微伺服器與儲存系統的延遲性,可能會因為在處理器上的架構及可供利用之原生輸入/輸出(I/O)的不同,而顯著地降低,但同時還能夠提供改善的可靠度、可擴展性與安全的虛擬化。

伺服器與儲存架構一般都是使用乙太網路(Ethernet)、PCIe及InfiniBand等實現互連。雖然乙太網路(採用TCP/IP協定)主要應用在網路上,但也可以使用匯聚式乙太網路(Converged Ethernet)來承載混合的流量,如儲存、網路和運算等。

然而,因為運算密集的協定堆疊之故,使得在這樣的系統中處理混合流量時,延遲和功率消耗會變得相當高。因為以訊框為基礎(Frame-based)的壅塞管理機制(Congestion Management Schemes)以及乙太網路無法中斷大量訊框傳輸的緣故,使得服務質量(QoS)也會受到大幅影響。

另一方面,PCIe和InfiniBand協定則主要供運算及儲存流量之用。在缺乏原生訊息(Native Messaging)支援及依賴單根層級(Single-root Hierarchy)的情況下,PCIe式的互連將會使其擴展性受到限制。

而以InfiniBand裝置為基礎的伺服器和儲存系統則缺乏原生處理器的支援,以及較高的系統成本和終端到終端間的延遲性,而處於劣勢。

刀鋒/微伺服器前進雲端運算

就許多其他應用而言,刀鋒及微伺服器架構可造福一些在雲端中有時間限制的大量資料分析應用程式。這樣的應用程式必須能夠支援網路、儲存及運算有關的混合流量的傳輸。

為了確保更好的服務質量,這些類型的應用程式也需要在既定的時間範圍內,完成大型資料組與即時串流資料的整體處理。具有HBase程式的Apache Hadoop架構,一般便是用來處理巨量資料分析。

Hadoop-HBase架構包含MapReduce(運算)、HBase(儲存)及互連結構(Interconnect Fabric)三個部分。在這個架構中,資料以及與MapReduce引擎相關的任務,會視資料量的大小,在需要擴展性和有效率互聯的網路上,透過伺服器叢集以平行處理形式載入並執行。

另外,此架構中的映射(Map)與簡化(Reduce)功能則負責執行運算任務,而HBase負責處理在網路上快速及隨機存取大型分散的儲存節點。

對於大量平行運作的映射引擎而言,龐大的資料組必須先分割成許多較小的資料組。然後,映射引擎會將這些資料排序成中間格式,與鑰匙(Key)配對,並且轉移到最接近運算節點之處儲存。

在資料載入且映射後,從不同儲存節點輸出的資料,會以資料的「鑰匙」為基礎,被轉移且打散到網路上的Reducer伺服器。主伺服器會以中間資料的地域性,來確定將資料分發到Reducer伺服器。

一旦Reducer處理完畢,資料將被合併並產生最後的結果,然後被寫回網路中儲存伺服器的一個或更多個輸出檔案裡。

在這個架構及給定的時間內完成處理(運算與儲存存取)作業,將使軟體基礎設施得以受惠於伺服器與儲存架構有效的互連。

例如,MapReduce模式可利用低延遲性的基礎設施,進而在各個大型可擴展運算和儲存節點上平行地載入與執行任務。有著以硬體為基礎的容錯能力、錯誤復原和低延遲同步化的特性,這種架構也能夠降低因為系統管理和可靠度(在MapReduce及HBase裡)所造成的軟體管銷費用。

總之,在這種架構下的處理步驟,資料中心的互連必須增加如表1所示的需求。

接下來討論關於RapidIO特點的部分,其可支援與雲端伺服器及儲存應用相關的諸多需求。

RapidIO通訊標準誕生

高效能的RapidIO協定是在2002年所推出的一種以封包(Packet)為基礎的開放式資料通訊標準。此後,全球眾多的原始設備製造商(OEM)及半導體供應商已累積提供數百萬計以RapidIO為基礎的裝置,以滿足3G/4G無線基地台、視訊伺服器、軍用通訊、嵌入式處理及高效能運算的互連需求。其中有一些應用程式受惠於以RapidIO為基礎的低延遲與可擴展性結構,而其他則是利用其具有確定性的傳輸保證、容錯及可靠度的特點,來與大量的多核心中央處理器(CPU)相互聯接。

RapidIO協定與封包格式被指定在一個三層架構層級。這個協定支援板上或跨多個板上的短、中及長距離鏈結。這個標準也同時支援光纖和電纜線鏈結。

在管理和控制方面,RapidIO協定支援全面性的系統啟動(Bring-up)、互控性(Interoperability)、多路傳送(Multicasting)、錯誤管理及優異的錯誤復原機制。簡化的分層結構,使其有可能在硬體中執行協定堆疊,同時讓整體的軟體管銷費用、系統成本及功率消耗保持在低水準。表2總結RapidIO適用於刀鋒和微伺服器架構的主要特點。

RapidIO進駐刀鋒及微伺服器

為了利用優異的RapidIO特點,可使用與RapidIO相容的網路介面卡與交換器(圖1)來設計以x86為基礎的刀鋒或微伺服器。也能以安謀國際(ARM)或其他低功率處理器為基礎,在RapidIO上來設計微伺服器(圖2)。藉由整合型的RapidIO,則有可能在大型伺服器與儲存叢集的應用程式間,提供最低的系統延遲。利用低延遲高處理能力的互連,應用程式得以跨運算與儲存節點被執行及分割,就好像它們是被並列配置在一起。此外,可靠的容錯能力讓系統的可用性獲得改善,並且能降低與系統同步化、控制及監控有關的CPU管銷費用。

圖1 以x86刀鋒式和RapidIO裝置為基礎的伺服器及儲存架構,與以機櫃頂端為基礎的系統相較下,能夠提供較低的成本與較佳的可靠度。

圖2 以ARM或其他低功率處理器為基礎,而有著原生RapidIO及裝置的微伺服器及儲存架構,與刀鋒及機櫃頂端為基礎的系統相較,能夠提供最低的系統延遲性。

提供卓越可擴展解決方案

以RapidIO為基礎的裝置,在資料中心內可用於各種對延遲容忍度低的大型資料分析、網站搜尋、分析、線上多玩家遊戲,以及分配快取記憶體等應用程式。而以最低延遲的RapidIO協定為基礎的系統,先天上就可以擴展至大量的節點及佇列上,且同時維持著優異的服務品質、容錯能力和可靠度。此外,還能夠提供高度確定的即時傳遞,並透過優異的流量控制和封包格式,將處理器效能與輸入/輸出搭配,使其達到有效的結構利用。總之,RapidIO的特點可為下一代低延遲、小體積的伺服器與儲存網路提供一個卓越的可擴展解決方案。

(本文作者為IDT首席設計師)

本站使用cookie及相關技術分析來改善使用者體驗。瞭解更多

我知道了!