Klastera tehniskais apraksts

RTU HPC klasteri “Rudens” veido 54 skaitļošanas mezgli, uz kuriem tiek izpildīti lietotāju uzdevumu, un vadības mezgls, kas pilda klastera pārvaldības funkcijas (skat. attēlu). Visi mezgli ir savstarpēji savienoti ar ātru InfiniBand datortīklu. Katrs skaitļošanas mezgls ir aprīkots ar diviem x86_64 arhitektūras procesoriem (CPU) un daži arī ar papildus ar 2 vai 4 Nvidia Tesla grafiskajiem paātrinātājiem (GPU). Pēc mezglu uzbūves klasteris ir heterogēns, apvienojot dažādu paaudžu un tehnisko parametru mezglus.

Datu glabāšanai ir pieejami vairāki caur tīklu pieslēgti disku masīvi ar kopējo lietotājiem pieejamo ietilpību ~800 TB. Uzdevumiem ar intensīvu ievadizvadi pieejams speciāls NVMe disku masīvs ar BeeGFS paralēlo failu sistēmu.

Kopējie sistēmas parametri

34 skaitļošanas mezgli

1376 CPU kodoli

11.5 TB RAM (līdz 2 TB uz vienu procesu)

16 grafiskie paātrinātāji (GPU)

145 TFlops kopējā veiktspēja (62 Tflops x86 + 70 Tflops GPU)

1.5 PB datu glabāšanas vieta

10-100 Gb/s piekļuves tīkls

40-100 Gb/s Infiniband mezglu starpsavienojums

Piekļuves tīkls

Tiek nodrošināts 10 Gb/s savienojums ar Latvijas Akadēmisko datortīklu, Eiropas Akadēmisko datortīklu GEANT, Genomikas datu tīklu un 2 Gb/s komerciālajiem interneta nodrošinātājiem Latvijā.

Skaitļošanas klasteris Rudens

Piekļuves (login) mezgli

ui-1.hpc.rtu.lv (primārais):
- 2 x Intel Xeon CPU E5-2680 v3 @ 2.50GHz (kopā 24 kodoli),
- 128 GB RAM,
- 10 Gb/s Ethernet piekļuves tīkls,
- 56 Gbiti/s Infiniband FDR.
ui-2.hpc.rtu.lv (rezerves, ui-1.hpc.rtu.lv kopija):
- 2 x AMD EPYC 7502P (Rome) @ 2.5GHz (kopā 64 kodoli),
- RAM 256 GB DDR4, 3.5 TB NVMe RAID 0,
- 100 Gb/s Ethernet piekļuves tīkls,
- 100 Gbiti/s Infiniband EDR.

CPU skaitļošanas mezgli

3 mezgli AMD Dell EMC PowerEdge R6525, (wn62-wn64, feature=epyc):
- 2 x AMD Epyc 7713 (Milan) @ 2 GHz (kopā 128 kodoli),
- RAM 512 GB DDR4, 3.5 TB NVMe RAID 0,
- 100 Gbiti/s Infiniband EDR.
10 mezgli Dell EMC PowerEdge R640 (wn02-wn10, feature=vasara):
- 2 x Intel(R) Xeon(R) Gold 6154 CPU @ 3.00GHz (kopā 36 kodoli),
- RAM 384 GB DDR4 2666 MHz ECC,
- 1TB SSD,
- Infiniband EDR 100 Gb/s.
11 mezgli Dell PowerEdge R630 (wn45-wn55, feature=rudens):
- 2 x Intel(R) Xeon(R) CPU E5-2680 v3 @ 2.50GHz (kopā 24 kodoli), RAM:
- 128 GB DDR4 2133MHz ECC,
- 200 GB SSD,
- Infiniband FDR 56 Gb/s.
24 mezgli T-Platforms T-Blade2 (wn12-wn34, wn42, feature=rudens):
- 2 x Intel(R) Xeon(R) CPU X5670 @ 2.93GHz (kopā 12 kodoli),
- RAM 12 GB DDR3 1333 MHz ECC,
- Infiniband QDR 40 Gbiti/s.

Mezgli ar palielinātu operatīvo atmiņu

1 mezgls Dell PowerEdge R940 (wn01, feature=vasara,highmem):
- 4 x Intel(R) Xeon(R) Gold 6140 CPU @ 2.30GHz (kopā 72 kodoli),
- RAM 1.5 TB DDR4 2666 MHz ECC,
- 1TB SSD,
- Infiniband EDR 100 Gb/s.

GPU skaitļošanas mezgli

2 GPU mezgli Dell EMC PowerEdge C4140 (wn59-wn60, feature= vasara,v100):
- 2 x Intel(R) Xeon(R) Gold 6130 CPU @ 2.10GHz (kopā 32 kodoli),
- 4 x NVIDIA Tesla V100 GPU uz mezglu,
- 16 GB HBM2, 5120 CUDA kodoli,
- 192 GB DDR4 2666 MHz ECC, 240 GB SSD,
- Infiniband EDR 100 Gb/s.
4 GPU mezgli Dell PowerEdge R730 (wn43,wn56-wn58, feature= rudens,k40):
- 2 x Intel(R) Xeon(R) CPU E5-2680 v3 @ 2.50GHz (kopā 24 kodoli),
- 2 x NVIDIA Tesla K40 GPU uz mezglu,
- 12GB GDDR5, 2888 CUDA kodoli,
- RAM 128 GB DDR4 2133MHz ECC,
- 200 GB SSD,
- Infiniband FDR 56 Gbiti/s.

Klastera pārvaldības programmatūra

Mezglu operētājsitēma: Centos 7.9
Uzdevumu pārvaldība: Torque 6.1.1.1/ Moab 9.1.1
Lietojuma uzskaite: Moab Accounting Manager
Operētājsistēmu attēlu (image) nodrošinājums: xCAT

Datu glabāšanas sistēma

BeeGFS tīkla datu glabātuve #1 (430 TB, /home_beegfs; /scratch_beegfs)

2 mezgli SuperStorage 6029P
Paralēla failu sistēma BeeGFS
100Gbit/s Infiniband
30TB NVMe ātrais disku pūls
400 TB NL SAS disku pūls

BeeGFS tīkla datu glabātuve #2 (104 TB, /mnt/beegfs)

2 mezgli: SuperStorage 6029P un Lenovo x3650 M5
Paralēla failu sistēma BeeGFS
10 Gb/s Infiniband ar klasteri
100 TB SATA HDD disku pūls

NFS tīkla datu glabātuve (238 TB, /home)

8 mezgli EMC Isilon x200
Distributīva failu sistēma OneFS
Klientu pieslēgums ar NFS protokolu
40 Gb/s InfiniBand tīkla savienojums ar klasteri
238 TB SATA SDD + SATA HDD diski

Scratch diski (kopā 15 TB)

Skaitļošanas mezgli ir aprīkoti ar lokāliem SSD diskiem, kuru ietilpība ir līdz pat 1TB.

Mezglu vārdi un parametri

Mezgla vārds	Tips	Fiziskā atmiņa (RAM)	CPU	Kodolu skaits	GPU skaits	Lokāls disks	Parametri (qsub features)
rudens	cluster head	32 GB	E5-2620 v3
ui-1	login	64 GB	E5-2650 v3	20	0	scratch/
ui-2	login	256 GB	EPYC 7502P	64	0	scratch/
wn01	compute-smp	1.48 TB	Gold 6140	72	0	scratch/	dell vasara highmem centos7 largescratch
wn02-wn11	compute	384 GB	Gold 6154	36	0	scratch/	dell vasara centos7 largescratch gold6154
wn12-wn34, wn42	compute	12 GB	X5670	12	0	–	tb2 inf centos6
wn35-wn39	compute-gpu	24 GB	E5630	8	2	–	tb2-8 gpu centos7
wn45-wn55	compute	128 GB	E5-2680 v3	24	0	scratch/	dell rudens centos7
wn43, wn56-wn58	compute-gpu	128 GB	E5-2680 v3	24	2	scratch/	dell rudens gpu k40 centos7
wn59-wn60	compute-gpu	192 GB	Gold 6130v	32	4	scratch/	vasara vasara-32 gpu v100 centos7
wn62-wn64	compute	512 GB	Epyc 7713	128	0	scratch/	epyc epyc7713 centos7

Klastera tehniskais apraksts

Kopējie sistēmas parametri

Piekļuves tīkls

Skaitļošanas klasteris Rudens

Datu glabāšanas sistēma

Mezglu vārdi un parametri

Piekļuves tīkls

Skaitļošanas klasteris Rudens

Datu glabāšanas sistēma

Mezglu vārdi un parametri

Kontakti

Ārējās saites