Klastera tehniskais apraksts

Klasteri veido 56 ar Infinband datortīklu savienoti serveri – skaitļošanas mezgli – uz kuriem tiek izpildīti lietotāju uzdevumi, un viena vadības mezgla, kas pilda klastera pārvaldības funkcijas (skat. attēlu zemāk). Visi mezgli aprīkoti ar diviem x86_64 arhitektūras procesoriem (CPU), no kuriem daļa papildus ar 2-4 Nvidia Tesla grafiskajiem paātrinātājiem (GPU). Pēc mezglu uzbūves klasteris ir heterogēns, apvienojot dažādu paaudžu un tehnisko parametru mezglus.

Datu glabāšanai ir pieejamis vairāki caur tīklu pieslēgti disku masīvi ar kopējo lietotājiem pieejamo ietilpību 800 TB. Uzdevumiem ar intensīvu ievadizvadi pieejams speciāls NVme disku masīvs ar BeeGFS paralēlo failu sistēmu.

Lietotāji slēdzas pie atsevišķa piekļuves mezgla, kas nodrošina darba vidi un rīkus uzdevumu izpildei klasterī. Uzdevumu iesūtīšanu nodrošina Torque/Moab pārvaldības rīki.

Kopējie sistēmas parametri

54 skaitļošanas mezgli

1200+ CPU kodoli

8 TB RAM (līdz 1.5 TB uz vienu procesoru)

20 Grafiskie paātrinātāji (GPU)

132 TFlops kopējā veiktspēja (62 Tflops x86 + 70 Tflops GPU)

800 TB datu glabāšana

10 Gb/s piekļuves tīkls

40-100 Gb/s InfiniBand starpsavienojums

Piekļuves tīkls

Tiek nodrošināts 10 Gb/s savienojums ar Latvijas Akadēmisko datortīklu, Eiropas Akadēmisko datortīklu GEANT, Genomikas datu tīklu un komerciālajiem interneta nodrošinātājiem Latvijā.

Skaitļošanas klasteris Rudens

Piekļuves (login) mezgli

ui-1.hpc.rtu.lv (primārais)

- 2 x Intel Xeon CPU E5-2680 v3 @ 2.50GHz (kopā 24 kodoli)
- 128 GB RAM
- 10 Gb/s Ethernet piekļuves tīkls
- 56 Gbiti/s Infiniband FDR

ui-2.hpc.rtu.lv (rezerves, ui-1.hpc.rtu.lv kopija)

- 2 x Intel(R) Xeon(R) CPU E5630 @ 2.53GHz (kopā 8 kodoli)
- RAM 24 GB DDR3 1066 MHz ECC
- 1 Gb/s Ethernet piekļuves tīkls
- 40 Gbiti/s Infiniband QDR

CPU skaitļošanas mezgli

10 mezgli Dell EMC PowerEdge R640 (wn02-wn10, feature=vasara)

- 2 x Intel(R) Xeon(R) Gold 6154 CPU @ 3.00GHz (kopā 36 kodoli)
- RAM 384 GB DDR4 2666 MHz ECC
- 1TB SSD
- Infiniband EDR 100 Gb/s

11 mezgli Dell PowerEdge R630 (wn45-wn55, feature=rudens)

- 2 x Intel(R) Xeon(R) CPU E5-2680 v3 @ 2.50GHz (kopā 24 kodoli)
- RAM: 128 GB DDR4 2133MHz ECC
- 200 GB SSD
- Infiniband FDR 56 Gbiti/s

24 mezgli (T-Platforms T-Blade2) (wn12-wn34, wn42, feature=rudens)

- 2 x Intel(R) Xeon(R) CPU X5670 @ 2.93GHz (kopā 12 kodoli)
- RAM 12 GB DDR3 1333 MHz ECC
- Infiniband QDR 40 Gbiti/s

Speciāls mezgls ar palielinātu operatīvās atmiņas apjomu

1 mezgls Dell PowerEdge R940 (wn01, feature=vasara,highmem)

- 4 x Intel(R) Xeon(R) Gold 6140 CPU @ 2.30GHz (kopā 72 kodoli)
- RAM 1.5 TB DDR4 2666 MHz ECC
- 1TB SSD
- Infiniband EDR 100 Gb/s

GPU skaitļošanas mezgli

2 GPU mezgli Dell EMC PowerEdge C4140 (wn59-wn60, feature= vasara,v100)

- 2 x Intel(R) Xeon(R) Gold 6130 CPU @ 2.10GHz (kopā 32 kodoli)
- 4 x NVIDIA Tesla V100 GPU uz mezglu, 16 GB HBM2, 5120 CUDA kodoli
- 192 GB DDR4 2666 MHz ECC
- 240 GB SSD
- Infiniband EDR 100 Gb/s

4 GPU mezgli Dell PowerEdge R730 (wn43,wn56-wn58, feature= rudens,k40)

- 2 x Intel(R) Xeon(R) CPU E5-2680 v3 @ 2.50GHz (kopā 24 kodoli)
- 2 x NVIDIA Tesla K40 GPU uz mezglu, 12GB GDDR5, 2888 CUDA kodoli
- RAM 128 GB DDR4 2133MHz ECC
- 200 GB SSD
- Infiniband FDR 56 Gbiti/s

2 GPU mezgli (T-Platforms T-Blade2) (wn35,wn37, feature= tb2-8)

- 2 x Intel(R) Xeon(R) CPU E5630 @ 2.53GHz (kopā 8 kodoli)
- 2 x NVIDIA Tesla M2070, 6 GB GDDR5, 448 CUDA kodoli
- RAM 24 GB DDR3 1066 MHz ECC
- Infiniband QDR 40 Gbiti/s

Klastera pārvaldības programmatūra

- Mezglu operētājsitēma: Centos 7.7
- Uzdevumu pārvaldība: Torque 6.1.1.1/ Moab 9.1.1
- Lietojuma uzskaite: Moab Accounting Manager

Operētājsistēmu attēlu (image) nodrošinājums: xCAT

Datu glabāšanas sistēma

BeeGFS tīkla datu glabātuve #1 (450 TB)

2 mezgli SuperStorage 6029P
Paralēla failu sistēma BeeGFS
100Gbit/s Infiniband
30TB NVMe ātrais disku pūls
400 TB NL SAS disku pūls

BeeGFS tīkla datu glabātuve #2 (104 TB)

2 mezgli: SuperStorage 6029P un Lenovo x3650 M5
Paralēla failu sistēma BeeGFS
10 Gb/s Infiniband ar klasteri
100 TB SATA HDD disku pūls

NFS tīkla datu glabātuve (238 TB)

8 mezgli EMC Isilon x200
Distributīva failu sistēma OneFS, klientu pieslēgums ar NFS protokolu
40 Gb/s InfiniBand tīkla savienojums ar klasteri
Lietotājiem pieejamā vieta: 238 TB

Scratch diski (kopā 15 TB)

Skaitļošanas mezgli ir aprīkoti ar lokāliem SSD diskiem, kuru ietilpība ir līdz pat 1TB.

Mezglu vārdi un parametri

Vārds	Tips	Fiziskā atmiņa (RAM)	CPU	Kodolu skaits	GPU skaits	Lokāls disks	Parametri (qsub features)
rudens	cluster head	32 GB	E5-2620 v3
ui-1	login	64 GB	E5-2650 v3	20	0	scratch/
ui-2	login	24 GB	E5630	8	0
wn01	compute-smp	1.48 TB	Gold 6140	72	0	scratch/	dell vasara highmem centos7 largescratch
wn02-wn11	compute	384 GB	Gold 6154	36	0	scratch/	dell vasara centos7 largescratch gold6154
wn12-wn34, wn42	compute	12 GB	X5670	12	0	–	tb2 inf centos6
wn35-wn39	compute-gpu	24 GB	E5630	8	2	–	tb2-8 gpu centos7
wn45-wn55	compute	128 GB	E5-2680 v3	24	0	scratch/	dell rudens centos7
wn43, wn56-wn58	compute-gpu	128 GB	E5-2680 v3	24	2	scratch/	dell rudens gpu k40 centos7
wn59-wn60	compute-gpu	192 GB	Gold 6130v	32	4	scratch/	vasara vasara-32 gpu v100 centos7

Klastera tehniskais apraksts

Kopējie sistēmas parametri

Piekļuves tīkls

Skaitļošanas klasteris Rudens

Datu glabāšanas sistēma

Mezglu vārdi un parametri

Piekļuves tīkls

Skaitļošanas klasteris Rudens

Datu glabāšanas sistēma

Mezglu vārdi un parametri

Kontakti

Ārējās saites