Klastera tehniskais apraksts

Klasteri veido 56 ar Infinband datortīklu savienoti serveri – skaitļošanas mezgli – uz kuriem tiek izpildīti lietotāju uzdevumi, un viena vadības mezgla, kas pilda klastera pārvaldības funkcijas (skat. attēlu zemāk). Visi mezgli aprīkoti ar diviem x86_64 arhitektūras procesoriem (CPU), no kuriem daļa papildus ar 2-4 Nvidia Tesla grafiskajiem paātrinātājiem (GPU). Pēc mezglu uzbūves klasteris ir heterogēns, apvienojot dažādu paaudžu un tehnisko parametru mezglus.

Datu glabāšanai ir pieejamis vairāki caur tīklu pieslēgti disku masīvi ar kopējo lietotājiem pieejamo ietilpību 800 TB. Uzdevumiem ar intensīvu ievadizvadi pieejams speciāls NVme disku masīvs ar BeeGFS paralēlo failu sistēmu.

Lietotāji slēdzas pie atsevišķa piekļuves mezgla, kas nodrošina darba vidi un rīkus uzdevumu izpildei klasterī. Uzdevumu iesūtīšanu nodrošina Torque/Moab pārvaldības rīki.

shema_hpc

Kopējie sistēmas parametri

54 skaitļošanas mezgli
1200+ CPU kodoli
8 TB RAM (līdz 1.5 TB uz vienu procesu)
20 grafiskie paātrinātāji (GPU)
132 TFlops kopējā veiktspēja (62 Tflops x86 + 70 Tflops GPU)
800+ TB datu glabāšana
10 Gb/s piekļuves tīkls
40-100 Gb/s Infiniband starpsavienojums

Piekļuves tīkls

Tiek nodrošināts 10 Gb/s savienojums ar Latvijas Akadēmisko datortīklu, Eiropas Akadēmisko datortīklu GEANT, Genomikas datu tīklu un komerciālajiem interneta nodrošinātājiem Latvijā.

Skaitļošanas klasteris Rudens

Piekļuves (login) mezgli

ui-1.hpc.rtu.lv (primārais)

- 2 x Intel Xeon CPU E5-2680 v3 @ 2.50GHz (kopā 24 kodoli)
- 128 GB RAM
- 10 Gb/s Ethernet piekļuves tīkls
- 56 Gbiti/s Infiniband FDR

ui-2.hpc.rtu.lv (rezerves, ui-1.hpc.rtu.lv kopija)

- 2 x Intel(R) Xeon(R) CPU E5630 @ 2.53GHz (kopā 8 kodoli)
- RAM 24 GB DDR3 1066 MHz ECC
- 1 Gb/s Ethernet piekļuves tīkls
- 40 Gbiti/s Infiniband QDR

CPU skaitļošanas mezgli

10 mezgli Dell EMC PowerEdge R640 (wn02-wn10, feature=vasara)

- 2 x Intel(R) Xeon(R) Gold 6154 CPU @ 3.00GHz (kopā 36 kodoli)
- RAM 384 GB DDR4 2666 MHz ECC
- 1TB SSD
- Infiniband EDR 100 Gb/s

11 mezgli Dell PowerEdge R630 (wn45-wn55, feature=rudens)

- 2 x Intel(R) Xeon(R) CPU E5-2680 v3 @ 2.50GHz (kopā 24 kodoli)
- RAM: 128 GB DDR4 2133MHz ECC
- 200 GB SSD
- Infiniband FDR 56 Gbiti/s

24 mezgli (T-Platforms T-Blade2) (wn12-wn34, wn42, feature=rudens)

- 2 x Intel(R) Xeon(R) CPU X5670 @ 2.93GHz (kopā 12 kodoli)
- RAM 12 GB DDR3 1333 MHz ECC
- Infiniband QDR 40 Gbiti/s

Speciāls mezgls ar palielinātu operatīvās atmiņas apjomu

1 mezgls Dell PowerEdge R940 (wn01, feature=vasara,highmem)

- 4 x Intel(R) Xeon(R) Gold 6140 CPU @ 2.30GHz (kopā 72 kodoli)
- RAM 1.5 TB DDR4 2666 MHz ECC
- 1TB SSD
- Infiniband EDR 100 Gb/s

GPU skaitļošanas mezgli

2 GPU mezgli Dell EMC PowerEdge C4140 (wn59-wn60, feature= vasara,v100)

- 2 x Intel(R) Xeon(R) Gold 6130 CPU @ 2.10GHz (kopā 32 kodoli)
- 4 x NVIDIA Tesla V100 GPU uz mezglu, 16 GB HBM2, 5120 CUDA kodoli
- 192 GB DDR4 2666 MHz ECC
- 240 GB SSD
- Infiniband EDR 100 Gb/s

4 GPU mezgli Dell PowerEdge R730 (wn43,wn56-wn58, feature= rudens,k40)

- 2 x Intel(R) Xeon(R) CPU E5-2680 v3 @ 2.50GHz (kopā 24 kodoli)
- 2 x NVIDIA Tesla K40 GPU uz mezglu, 12GB GDDR5, 2888 CUDA kodoli
- RAM 128 GB DDR4 2133MHz ECC
- 200 GB SSD
- Infiniband FDR 56 Gbiti/s

2 GPU mezgli (T-Platforms T-Blade2) (wn35,wn37, feature= tb2-8)

- 2 x Intel(R) Xeon(R) CPU E5630 @ 2.53GHz (kopā 8 kodoli)
- 2 x NVIDIA Tesla M2070, 6 GB GDDR5, 448 CUDA kodoli
- RAM 24 GB DDR3 1066 MHz ECC
- Infiniband QDR 40 Gbiti/s

Klastera pārvaldības programmatūra

- Mezglu operētājsitēma: Centos 7.7
- Uzdevumu pārvaldība: Torque 6.1.1.1/ Moab 9.1.1
- Lietojuma uzskaite: Moab Accounting Manager

Operētājsistēmu attēlu (image) nodrošinājums: xCAT

Datu glabāšanas sistēma

BeeGFS tīkla datu glabātuve #1 (450 TB)

2 mezgli SuperStorage 6029P
Paralēla failu sistēma BeeGFS
100Gbit/s Infiniband
30TB NVMe ātrais disku pūls
400 TB NL SAS disku pūls

BeeGFS tīkla datu glabātuve #2 (104 TB)

2 mezgli: SuperStorage 6029P un Lenovo x3650 M5
Paralēla failu sistēma BeeGFS
10 Gb/s Infiniband ar klasteri
100 TB SATA HDD disku pūls

NFS tīkla datu glabātuve (238 TB)

8 mezgli EMC Isilon x200
Distributīva failu sistēma OneFS, klientu pieslēgums ar NFS protokolu
40 Gb/s InfiniBand tīkla savienojums ar klasteri
Lietotājiem pieejamā vieta: 238 TB

Scratch diski (kopā 15 TB)

Skaitļošanas mezgli ir aprīkoti ar lokāliem SSD diskiem, kuru ietilpība ir līdz pat 1TB.

Mezglu vārdi un parametri

tab2