Klastera tehniskais apraksts

Klasteris sastāv no viena galvenā mezgla, kas pilda uzdevumu pārvaldības funkciju, datu glabātuves, piekļuves servera un 56 skaitļošanas mezgliem, kas nodrošina lietotāju uzdevumu izpildi.

Parametri īsumā

Kodolu skaits: 1200

Kopējā RAM: 8 TB

RAM uz vienu procesu: līdz 1.5 TB

GPU paātrinātāju skaits: 22

CUDA kodolu skaits: 66752

Datu glabāšanas apjoms: 238 TB

Kopējā veiktspēja: 139 Tflops

Shēma

Aparatūra

Galvenais mezgls – uzdevumu pārvaldnieks

  • Dell PowerEdge R630
  • CPU: 2 x Intel(R) Xeon(R) CPU E5-2620 v3 @ 2.40GHz (kopā 12 kodoli)
  • RAM: 32 GB DDR4 2133MHz ECC
  • 4 TB SAS 10000 rpm HDD

Piekļuves (login) mezgls

  • Lenovo x3650 M5
  • CPU: 2 x Intel(R) Xeon(R) CPU E5-2650 v3 @ 2.30GHz (kopā 20 kodoli)
  • RAM: 64 GB DDR4 1600MHz ECC

Skaitļošanas mezgli (vasara)

  • Kopējie parametri
    • 13 mezgli
    • 494 CPU kodoli
    • 8 GPU (40960 CUDA kodoli)
    • 44 Tflops (x86) + 62 Tflops (GPU) = 106 Tflops
  • 10 mezgli Dell EMC PowerEdge R640
    • CPU: 2 x Intel(R) Xeon(R) Gold 6154 CPU @ 3.00GHz (kopā 36 kodoli)
    • RAM: 384 GB DDR4 2666 MHz ECC
    • 240 GB SSD
  • 2 mezgli Dell EMC PowerEdge C4140
    • CPU: 2 x Intel(R) Xeon(R) Gold 6130 CPU @ 2.10GHz (kopā 32 kodoli)
    • RAM: 192 GB DDR4 2666 MHz ECC
    • GPU: 4 x NVIDIA Tesla V100, NVLink, 16 GB HBM2, 5120 CUDA kodoli
    • 240 GB SSD
  • 1 mezgls Dell EMC PowerEdge R940
    • CPU: 4 x Intel(R) Xeon(R) Gold 6140 CPU @ 2.30GHz (kopā 72 kodoli)
    • RAM: 1.5 TB DDR4 2666 MHz ECC
    • 400 GB SSD
  • Mezglu starpsavienojums
    • Infiniband EDR 100 Gbiti/s
    • 1 GigE

Skaitļošanas mezgli (rudens)

  • Kopējie parametri
    • 16 mezgli
    • 384 CPU kodoli
    • 8 GPU (23104 CUDA kodoli)
    • 4 Tflops (x86) + 11.4 Tflops (GPU) = 26.8 Tflops
  • 12 mezgli Dell PowerEdge R630
    • CPU: 2 x Intel(R) Xeon(R) CPU E5-2680 v3 @ 2.50GHz (kopā 24 kodoli)
    • RAM: 128 GB DDR4 2133MHz ECC
    • 200 GB SSD
  • 4 mezgli Dell PowerEdge R730
    • CPU: 2 x Intel(R) Xeon(R) CPU E5-2680 v3 @ 2.50GHz (kopā 24 kodoli)
    • RAM: 128 GB DDR4 2133MHz ECC
    • GPU: 2 x NVIDIA Tesla K40, 12GB GDDR5, 2888 CUDA kodoli
    • 200 GB SSD
  • Mezglu starpsavienojums
    • Infiniband FDR 56 Gbiti/s
    • 1 GigE

Skaitļošanas mezgli (tb2)

  • Kopējie parametri
    • 27 mezgli
    • 312 CPU kodoli
    • 6 GPU (2688 CUDA kodoli)
    • 3 Tflops (x86) + 3.1 Tflops (GPU) = 6.1 Tflops
  • 24 mezgli T-Platforms T-Blade2
    • CPU: 2 x Intel(R) Xeon(R) CPU X5670 @ 2.93GHz (kopā 12 kodoli)
    • RAM: 12 GB DDR3 1333 MHz ECC
  • 3 mezgli T-Platforms T-Blade2 GPU
    • CPU: 2 x Intel(R) Xeon(R) CPU E5630 @ 2.53GHz (kopā 8 kodoli)
    • RAM: 24 GB DDR3 1066 MHz ECC
    • GPU: 2 x NVIDIA Tesla M2070, 6 GB GDDR5, 448 CUDA kodoli
  • Mezglu starpsavienojums
    • Infiniband QDR 40 Gbiti/s
    • 1 GigE

Datu glabātuve

  • 8 mezgli EMC Isilon x200
  • Distributīva failu sist, klientu pieslēgums ar NFS protokolu
  • 40 Gbiti/s InfiniBand tīkla savienojums ar klasteri
  • Lietotājiem pieejamā vieta: 238 TB

Klastera pārvaldības programmatūra

  • Operētājsitēma: Centos 6.9/Centos 7.5
  • Operētājsistēmu attēlu (image) nodrošinājums: xCAT
  • Uzdevumu pārvaldība: Torque 6.1.1.1/ Moab 9.1.1
  • Lietojuma uzskaite: Moab Accounting Manager