Klastera tehniskais apraksts

RTU HPC klasteri “Rudens” veido 54 skaitļošanas mezgli, uz kuriem tiek izpildīti lietotāju uzdevumu, un vadības mezgls, kas pilda klastera pārvaldības funkcijas (skat. attēlu). Visi mezgli ir savstarpēji savienoti ar ātru InfiniBand datortīklu. Katrs skaitļošanas mezgls ir aprīkots ar diviem x86_64 arhitektūras procesoriem (CPU) un daži arī ar papildus ar 2 vai 4 Nvidia Tesla grafiskajiem paātrinātājiem (GPU). Pēc mezglu uzbūves klasteris ir heterogēns, apvienojot dažādu paaudžu un tehnisko parametru mezglus.

Datu glabāšanai ir pieejami vairāki caur tīklu pieslēgti disku masīvi ar kopējo lietotājiem pieejamo ietilpību ~800 TB. Uzdevumiem ar intensīvu ievadizvadi pieejams speciāls NVMe disku masīvs ar BeeGFS paralēlo failu sistēmu.

Kopējie sistēmas parametri

35 skaitļošanas mezgli

1376 CPU kodoli

16.5 TB RAM (līdz 2 TB uz vienu procesu)

20 grafiskie paātrinātāji (GPU)

145 TFlops kopējā veiktspēja (62 Tflops x86 + 70 Tflops GPU)

1.7 PB datu glabāšanas vieta

10-100 Gb/s piekļuves tīkls

40-100 Gb/s Infiniband mezglu starpsavienojums

Piekļuves tīkls

Tiek nodrošināts 10 Gb/s savienojums ar Latvijas Akadēmisko datortīklu, Eiropas Akadēmisko datortīklu GEANT, Genomikas datu tīklu un 2 Gb/s komerciālajiem interneta nodrošinātājiem Latvijā.

Skaitļošanas klasteris Rudens

Piekļuves (login) mezgli

ui-1.hpc.rtu.lv (primārais):
- 2 x Intel Xeon CPU E5-2680 v3 @ 2.50GHz (kopā 24 kodoli),
- 128 GB RAM,
- 10 Gb/s Ethernet piekļuves tīkls,
- 56 Gbiti/s Infiniband FDR.
ui-2.hpc.rtu.lv (rezerves, ui-1.hpc.rtu.lv kopija):
- 2 x AMD EPYC 7502P (Rome) @ 2.5GHz (kopā 64 kodoli),
- RAM 256 GB DDR4, 3.5 TB NVMe RAID 0,
- 100 Gb/s Ethernet piekļuves tīkls,
- 100 Gbiti/s Infiniband EDR.

CPU skaitļošanas mezgli

3 mezgli AMD Dell EMC PowerEdge R6525, (wn62-wn64, feature=epyc):
- 2 x AMD Epyc 7713 (Milan) @ 2 GHz (kopā 128 kodoli),
- RAM 512 GB DDR4, 3.5 TB NVMe RAID 0,
- 100 Gbiti/s Infiniband EDR.
10 mezgli Dell EMC PowerEdge R640 (wn02-wn10, feature=vasara):
- 2 x Intel(R) Xeon(R) Gold 6154 CPU @ 3.00GHz (kopā 36 kodoli),
- RAM 384 GB DDR4 2666 MHz ECC,
- 1TB SSD,
- Infiniband EDR 100 Gb/s.
11 mezgli Dell PowerEdge R630 (wn45-wn55, feature=rudens):
- 2 x Intel(R) Xeon(R) CPU E5-2680 v3 @ 2.50GHz (kopā 24 kodoli), RAM:
- 128 GB DDR4 2133MHz ECC,
- 200 GB SSD,
- Infiniband FDR 56 Gb/s.

GPU skaitļošanas mezgli

2 GPU mezgli Dell EMC PowerEdge C4140 (wn59-wn60, feature= vasara,v100):
- 2 x Intel(R) Xeon(R) Gold 6130 CPU @ 2.10GHz (kopā 32 kodoli),
- 4 x NVIDIA Tesla V100 GPU uz mezglu,
- 16 GB HBM2, 5120 CUDA kodoli,
- 192 GB DDR4 2666 MHz ECC, 240 GB SSD,
- Infiniband EDR 100 Gb/s.
4 GPU mezgli Dell PowerEdge R730 (wn43,wn56-wn58, feature= rudens,k40):
- 2 x Intel(R) Xeon(R) CPU E5-2680 v3 @ 2.50GHz (kopā 24 kodoli),
- 2 x NVIDIA Tesla K40 GPU uz mezglu,
- 12GB GDDR5, 2888 CUDA kodoli,
- RAM 128 GB DDR4 2133MHz ECC,
- 200 GB SSD,
- Infiniband FDR 56 Gbiti/s.
1 GPU mezgls Lenovo SR670 V2 (wn44, feature=lenovo,a100):
- 2 x Intel Xeon Gold 6348 gen.3 @ 2.6Hz (kopā 56 kodoli),
- 4 x NVIDIA A100 GPU, 40 GB HBM2, NVLink,
- 512 GB DDR4 3200 MHz ECC,
- 5.8 TB NVMe SSD,
- Infiniband EDR 100 Gb/s.

Mezgli ar palielinātu operatīvo atmiņu

1 mezgls Dell PowerEdge R940 (wn01, feature=vasara,highmem):
- 4 x Intel(R) Xeon(R) Gold 6140 CPU @ 2.30GHz (kopā 72 kodoli),
- RAM 1.5 TB DDR4 2666 MHz ECC,
- 1TB SSD,
- Infiniband EDR 100 Gb/s.

Klastera pārvaldības programmatūra

Mezglu operētājsitēma: Centos 7.9
Uzdevumu pārvaldība: Torque 6.1.1.1/ Moab 9.1.1
Lietojuma uzskaite: Moab Accounting Manager
Operētājsistēmu attēlu (image) nodrošinājums: xCAT

Datu glabāšanas sistēma

BeeGFS tīkla datu glabātuve #1 (430 TB, /home_beegfs; /scratch_beegfs)

2 mezgli SuperStorage 6029P
Paralēla failu sistēma BeeGFS
100Gbit/s Infiniband
30TB NVMe ātrais disku pūls
400 TB NL SAS disku pūls

BeeGFS tīkla datu glabātuve #2 (104 TB, /mnt/beegfs)

2 mezgli: SuperStorage 6029P un Lenovo x3650 M5
Paralēla failu sistēma BeeGFS
10 Gb/s Infiniband ar klasteri
100 TB SATA HDD disku pūls

NFS tīkla datu glabātuve (238 TB, /home)

8 mezgli EMC Isilon x200
Distributīva failu sistēma OneFS
Klientu pieslēgums ar NFS protokolu
40 Gb/s InfiniBand tīkla savienojums ar klasteri
238 TB SATA SDD + SATA HDD diski

Scratch diski (kopā 15 TB)

Skaitļošanas mezgli ir aprīkoti ar lokāliem SSD diskiem, kuru ietilpība ir līdz pat 1TB.

Mezglu vārdi un parametri

Mezgla vārds	Tips	Fiziskā atmiņa (RAM)	CPU	Kodolu skaits	GPU skaits	Lokāls disks	Parametri (qsub features)
rudens	cluster head	32 GB	E5-2620 v3
ui-1	login	64 GB	E5-2650 v3	20	0	/scratch
ui-2	login	256 GB	EPYC 7502P	64	0	/scratch
wn01	compute-smp high mem	1.48 TB	Gold 6140	72	0	/scratch	dell vasara highmem centos7 largescratch
wn02-wn11	compute	384 GB	Gold 6154	36	0	/scratch	dell vasara centos7 largescratch gold6154
wn44	compute-gpu	512 GB	Gold 6348	56	4	/scratch 5.8 TB	lenovo gpu a100
wn45-wn55	compute	128 GB	E5-2680 v3	24	0	/scratch	dell rudens centos7
wn43, wn56-wn58	compute-gpu	128 GB	E5-2680 v3	24	2	/scratch	dell rudens gpu k40 centos7
wn59-wn60	compute-gpu	192 GB	Gold 6130v	32	4	/scratch	vasara vasara-32 gpu v100 centos7
wn61	compute high-mem	2 TB	Epyc 7F72	48	0	/scratch 1.8 TB	epyc7f72 largescratch
wn62-wn64	compute	512 GB	Epyc 7713	128	0	/scratch	epyc epyc7713 centos7

Klastera tehniskais apraksts

Kopējie sistēmas parametri

Piekļuves tīkls

Skaitļošanas klasteris Rudens

Datu glabāšanas sistēma

Mezglu vārdi un parametri

Piekļuves tīkls

Skaitļošanas klasteris Rudens

Datu glabāšanas sistēma

Mezglu vārdi un parametri

Kontakti

Mēs sociālajos tīklos

Ārējās saites