Lietotāju komandas BeeGFS datu glabātuvei

BeeGFS tīkla datu glabātuve #2 (BEEGFS2) sastāv no divu dažādu ātrumu disku pūliem:

  • Lēnais disku pūls (DEFAULT, poolid=1)
  • Ātrais disku pūls (FAST, poolid=2)

Lietotāji paši var izvēlēties, kurā disku pūlā novietot datus: ātrajos SSD NVMe diskos vai uz salīdzinoši lēnākiem, bet ietilpības ziņā lielākiem magnētiskajiem diskiem. Līdzīgi kā /home, visas BEEGFS2 direktorijas ir kopīgas (shared) uz visiem piekļuves un skaitļošanas mezgliem.

  1. Visiem klastera lietotājiem ir sagatavota direktorija jaunajā datu glabāšanas sistēmā BEEGFS2:

/home_beegfs/<username>

Lietotāja direktorija  standartā tiek izvietota uz lēno disku pūla 1 (DEFAULT), kas paredzēts ilglaicīgai datu glabāšanai.

  1. Visiem klastera lietotājiem ir iespēja izveidot direktoriju BEEGFS2 ātrajā pūla:

/beegfs_scratch/

 

Ātro disku pūls (FAST) ir izvietots direktorijā /beegfs_scratch/, kur lietotāji paši var veidot apakš direktorijas  un izmantot īslaicīgai datu glabāšanai, piemēram, failiem, ar kuriem notiek aktīvs darbs, tostarp arī kā uzdevumu SCRATCH/TMP failu novietošanai.

Apakš direktoriju ar pareizām tiesībām (permissions) var izveidot šādi :

mkdir -m 700 -p /beegfs_scratch/<username>

!!! Lūdzu ņemiet vērā, ka visi faili /beegfs_scratch direktorijā, kas tur atradīsies ilgāk par 30 dienām, tiks automātiski pārvietoti uz lēno disku pūlu (nemainot to loģisko atrašanās vietu t.i. tie joprojām atradīsies /beegfs_scratch direktorijā).

  1. BeeGFS ļauj lietotājam pašam pārvietot failus no viena pūla uz citu, saglabājot to loģisko atrašanās vietu (piemēram, arī /home_beegfs/<user> saturu). Failus, kuri tiek migrēti no viena pūla uz otru, nedrīkst lietot/rakstīt pārvietošanas brīdī.

beegfs-ctl –migrate –storagepoolid=1 –destinationpoolid=2 /home_beegfs/<user>/<workdir>/<file>

  1. Lai pārbaudītu, kurā disku kopā atrodas jūsu faili, izpildiet šādu komandu, norādot ceļu uz jūsu direktoriju vai failu:

beegfs-ctl --getentryinfo /home_beegfs/<user>/<workdir>;

beegfs-ctl --getentryinfo /home_beegfs/<user>/<workdir>/<fails>;

Piemēram, šāda atbilde parāda, ka dati ir novietoti uz lēnā disku pūla 1:

5. Standarta vietas ierobežojums uz BEEGFS2 katram lietotājam:

  • 2 TB uz lēnā pūla
  • 2 TB uz ātrā pūla

Lai izmantotu vairāk vietas, lūdzu, sazinieties ar RTU HPC centru!

Lai pārliecinātos par izmantoto disku vietu BEEGFS2 katrā no pūliem  (direktorijas  /home_beegfs/ un /beegfs_scratch/),  pārbauda ar komandu:

beegfs-ctl --getquota –uid <username>;