應(yīng)用場景

高性能計算(High performance computing，縮寫HPC)指通常使用很多處理器(作為單個機器的一部分)或者某一集群中的多臺計算機(作為單個計算資源操作)的計算系統(tǒng)和環(huán)境。HPC應(yīng)用的主要領(lǐng)域是科學(xué)與工程計算，諸如高能物理、核爆炸模擬、氣象預(yù)報、石油勘探、地震預(yù)報、地球模擬、藥品研制、CAD設(shè)計中的仿真與建模、流體力學(xué)的計算等。隨著云計算和大數(shù)據(jù)技術(shù)的不斷成熟和廣泛應(yīng)用，HPC已經(jīng)滲透到HPDA和HPCCloud領(lǐng)域。

有許多類型的HPC系統(tǒng)，不同的高性能計算應(yīng)用具有不同的應(yīng)用特征，相應(yīng)的對于計算、網(wǎng)絡(luò)和存儲等方面有著不同的要求，應(yīng)用于石油勘探、地震資料處理、氣象、動漫渲染以及生命科學(xué)等領(lǐng)域的高性能計算系統(tǒng)，面對海量數(shù)據(jù)需要解決后端數(shù)據(jù)集中存取的1/0瓶頸。以石油物探應(yīng)用為例，地震資料處理數(shù)據(jù)的特點及對存儲的要求主要體現(xiàn)在:

1、統(tǒng)一命名空間

不同的計算節(jié)點都要到這個統(tǒng)一命名空間中讀取數(shù)據(jù)，存放、讀取中間數(shù)據(jù)，存放結(jié)果數(shù)據(jù);

2、數(shù)據(jù)量大

初始數(shù)據(jù)幾+TB，中間數(shù)據(jù)是初始數(shù)據(jù)的10~20倍，但成果數(shù)據(jù)的大小卻僅有初始數(shù)據(jù)的0.5~1%左右;

3、帶寬要求高

計算節(jié)點和存儲節(jié)點的數(shù)據(jù)交互次數(shù)不頻繁，但是數(shù)據(jù)量大，即對帶寬和存儲節(jié)點的帶寬要求高;

4、可靠性要求高

中間致?lián)徒Y(jié)果數(shù)據(jù)都是珍貴數(shù)據(jù)，是通過大量的時間和資源的投入得出來的，所以對存儲的可靠性要求高;

5、擴展性高

不同任務(wù)的計算集群，共用一個存儲系統(tǒng)，避免數(shù)據(jù)遷移。

6、易用易管理

單一命名空間;存儲資源可以員活的劃分給不同的計算任務(wù)(計算節(jié)點);維護簡單;配額管理

7、數(shù)據(jù)歸檔要求

中間數(shù)據(jù)和結(jié)果數(shù)據(jù)經(jīng)過生命周期后，很少被訪問，有歸檔需求。

解決方案

希捷Exos X 5U84高密度存儲系統(tǒng)具有極高的系統(tǒng)性能以及合理的架構(gòu)。Exos X 5U84 提供7GB/s的順序讀和5.5GB/s的順序?qū)懩芰ν掏?，為大容量存儲系統(tǒng)的帶寬提供保障。 ExosX 5U84存儲系統(tǒng)可以支持高端336片3.5寸大容量硬盤，如果配置18TB硬盤，系統(tǒng)最大容量高達5.3PB，可滿足苛刻的性能和容量需求。

希捷自修復(fù)存儲系統(tǒng)采用4U106規(guī)格機箱，配置106塊18T硬盤，容量高達1.91PB，采用希捷ADAPT糾測技術(shù)，支持磁盤自修復(fù)和快速磁盤重建，提供14GB/s的順序讀和12GB/s的娘序?qū)懩芰ν掏隆?/p>

上述產(chǎn)品與第三方并行文件系統(tǒng)如GPFS或Lustre結(jié)合，可以完美地滿足高性能計算對于存儲系統(tǒng)的苛刻要求。此外，它憑借全冗余的1/0路徑、高級保護特性以及廣泛的診斷功能，可確保數(shù)據(jù)的最高可用性、完整性和安全性。

方案拓?fù)鋱D及方案優(yōu)點

1、高性能

能夠提供穩(wěn)定聚合帶寬以及高速文件查詢，大幅度減少計算任務(wù)的數(shù)據(jù)IO時間，提高集群的工作效率。通過增加IO節(jié)點和存儲，帶寬可線性增漲，滿足大規(guī)模數(shù)據(jù)并行讀寫要求;

2.可擴展的海量存儲空間

可在業(yè)務(wù)系統(tǒng)不間斷的情況下，通過增加存儲節(jié)點設(shè)備的方式擴展容量至PB級，使得高性能計算集群可以存放大量的計算素材和計算結(jié)果;

3.全局?jǐn)?shù)據(jù)共享

提供單一系統(tǒng)映象，所有IO節(jié)點共享同一文件系統(tǒng)視圖，使得所有計算節(jié)點能即時獲取所需的數(shù)據(jù)，無需進行數(shù)據(jù)遷移，大幅度提高了集群的使用效率，支持負(fù)載均衡，單點故障容錯。