Uzdevumu pārvaldība

Klasterī tiek izmantota speciāla uzdevumu pārvaldības sistēma, kas palīdz organizēt lietotāju uzdevumus (no angļu job/task – izpildāmā simulācija vai programmas kods). Lietotājam pieprasot uzdevuma izpildei noteiktus resursus (kodolus, atmiņu), pārvaldības sistēma pati atrod brīvus resursus un nodrošina tiem ekskluzīvu piekļuvi (nepārklājas ar citu lietotāju uzdevumiem). Savukārt, lai godīgi sadalītu klastera laiku starp daudzu lietotāju uzdevumiem, tiek izmantotas virtuālas rindas. Uzdevumu izpilde klasterī iedalāms šādos etapos:

pieslēgšanās klasterim (aprakstīta sadaļā Darba uzsākšana klasterī);
uzdevuma ievietošana rindā;
izpilde un lietotāja sekošana tās statusam;
rezultātu saņemšana.

RTU izmantotā uzdevumu pārvaldības sistēma ir Torque/Moab. Torque veic zemāka līmeņa pakešu uzdevumu pārvaldību, savukārt Moab nodrošina austāka līmeņa rindošanas un klastera pārvaldības funkcionalitāti.

Uzdevuma ievietošana rindā

Pirms uzdevums nonāk skaitļošanas mezglā un sāk izpildīties, tas tiek ievietots virtuālā rindā. Rinda organizē resursu sadali daudzlietotāju sistēmā, kur uzdevumu skaits un prasības var pārsniegt brīvo resursu (CPU, atmiņas) apjomu. Atbrīvojoties resursiem, parasti nākamais izpildīsies tas uzdevums, kas rindā gaidījis visilgāk. Lietotājam nav jāseko, kad resursi atbrīvosies – uzdevuma pārvietošanās rindā un izpildes sākšana notiek automātiski. Ja rindas nav (ir brīvi resursi), tad uzdevums sāk izpildīties uzreiz.

Vienkāršs uzdevums

Uzdevuma ievietošana rindā notiek ar speciāliem Torque/Moab klastera klienta rīkiem (izstrādātāja dokumentācija http://docs.adaptivecomputing.com/torque/6-1-2/adminGuide/torque.htm).

Komanda vienkārša uzdevuma (skripta) ievietošanai rindā:

qsub test.sh

test.sh ir bash valodas (Linux komandrindas) skripts, kurā lietotājs ieraksta secīgi izpildāmās komandas, uzdevumam nonākot skaitļošanas mezglā. Tas nodrošina pakešuzdevuma (batch) izpildi bez lietotāja līdzdalības. Skriptā var būt, piemēram, šāda komanda:

Komanda izdrukā skaitļošanas mezgla vārdu. Varat izpildīt to arī lokāli.

Skripta paraugs, lai skaitļošanas mezglā palaistu jūsu programmu ar parametriem:

Ja nepieciešams, pirms programmas izpildes ielādējiet attiecīgo moduli (skat 0).

Lietojumprogrammu palaišanas skriptu piemērus un citu noderīgu informāciju atradīsiet direktorijā: /opt/exp_soft/user_info

Interaktīvs uzdevums

Alternatīvi pakešuzdevumam var izmantot interaktīvu uzdevumu veidu. Interaktīvais režīms ir ērts uzdevumu testēšanai un atkļūdošanai, kā arī, ja izmantojiet grafiskus rīkus. Sākt interaktīvu uzdevumu:

qsub –I

Automātiski tiks atvērts attālināts terminālis uz skaitļošanas mezgla, kur varēsiet izpildīt nepieciešamās komandas, rakstot tās komandrindā. Komanda līdzvērtīga “ssh wn[xx]” ar atšķirību, ka resursi tiks rezervēti un neradīsies konflikti ar citiem lietotājiem.

Ja interaktīvā režīmā nepieciešams atvērtu grafisku logu, pievienojiet –X parametru:

qsub –X –I

Par grafiskās sesijas pārsūtīšanu vairāk lasiet sadaļā Klastera lietotāju saskarnes (interfeisi).

Uzdevuma parametri un prasības

Jūs varat norādīt uzdevuma parametrus un prasības, piemērām, nosaukumu, kuru rindu izmantot vai cik laika būs nepieciešams uzdevuma izpildei. Šī informācija rindu sistēmā tiks izmantota, lai atrastu uzdevumam piemērotākos resursus.

qsub –N my_job –q fast –l walltime=00:00:30 test.sh

Uzdevuma prasības var pievienot palaišanas skripta sākumā:

Parametrus var vienlaikus norādīt gan komandrindā, gan skriptā, tomēr dublēšanās gadījumā ar augstāku prioritāti tiks ņemti vērā komandrindas parametri.

Kā pieprasīt konkrētus skaitļošanas resursus? Definējiet prasības ar “qsub –l”, kā parametrus norādot:

kodolu skaitu

-l procs=12

mezglu un kodolu skaitu katrā mezglā (lietojiet šo pierakstu MPI uzdevumiem!)

-l nodes=2:ppn=12

konkrētu mezglu/s (var nākties ilgāk gaidīt rindā!)

-l nodes=wn44:ppn=12 
-l nodes=wn44:ppn=12+wn46:ppn=12

izmantot mezglu tikai no norādītā saraksta

-W x=HOSTLIST:wn02,wn03,wn04,wn05,wn06,wn07,wn08,wn09,wn10,wn11

grafisko procesoru (GPU) skaitu

-l nodes=1:ppn=12:gpus=2

nepieciešamo atmiņas apjomu

-l nodes=1:ppn=12,pmem=1g

atmiņas apjoms uz katru kodolu (procesu)

-l nodes=1:ppn=12,mem=12g

kopējais uzdevuma atmiņas apjoms

pieprasīt skaitļošanas mezglus ar noteiktiem parametriem (features). Features parasti tiek izmantotas klasteros ar dažādiem mezgliem (nehomogēnos). Piemēram, lai garantētu uzdevuma izpildi tikai uz jaunākās paaudzes mezgliem (ar 36 kodoli/mezgls)

-l feature=vasara

Mezglu nosaukumus (hostnames) un parametrus varat noskaidrot sadaļā Skaitļošanas klasteris Rudens.

Vairāk par qsub komandu un parametriem varat iegūt informāciju, izpildot:

man qsub

Paralēls (MPI) uzdevums

Uzdevums tiek sadalīts uz vairākiem kodoliem vai klastera mezgliem, izmantojot Message Passing Interface (MPI) protokolu.

Ievietot rindā paralēlu uzdevumu, kam izpildei nepieciešami 24 kodoli (2 mezgli × 12 kodoli katrā mezglā):

qsub -l nodes=2:ppn=12 run_mpi.sh

vai nenorādot konkrētu mezglu skaitu

qsub -l procs=24 run_mpi.sh

Iesakām izmantot OpenMPI versijas, kas jau ir sagatavotas šim klasterim ar Torque atbalstu.

module load mpi/openmpi-

run_mpi.sh skripta piemērs:

MPI piemērus atradīsiet klastera direktorijā:

/opt/exp_soft/users_info/mpi

Uzdevuma mainīgie

Uzdevuma skriptā parocīgi izmantot mainīgos, kuri uzstādās automātiski uzdevumam nonākot uz skaitļošanas mezgla.

$PBS_O_WORKDIR – direktoriju, no kuras uzdevums tika ievietots rindā
$PBS_NODEFILE – saraksts ar uzdevumam rezervētajiem mezgliem
$PBS_GPUFILE– saraksts ar uzdevumam rezervētajiem GPU
$PBS_NUM_NODES – uzdevumam rezervētais mezglu skaits
$PBS_NUM_PPN – rezervētais kodolu skaits katrā mezglā
$PBS_NP – kopējais uzdevumam rezervētais kodolu skaits
$ PBS_JOBID – uzdevuma identifikators

Piemēram, lai pārietu uz direktoriju, no kuras uzdevums tika ievietots rindā:

cd $PBS_O_WORKDIR

Lai iegūtu sarastu ar visiem mainīgajiem, sāciet interaktīvu uzdevumu (qsub –I) un izpildiet komandu:

env | grep PBS

Uzdevuma pārtraukšana

Izpildē esošu vai rindā gaidošu uzdevumu patrauc ar komandu:

qdel

vai

canceljob

– unikāls uzdevuma identifikators.

Pārtraukt visus lietotāja uzdevumus:

qdel ‘all’

Brīvo resursu un uzdevumu monitorings

Komanda, lai pārbaudītu rindā ievietoto uzdevumu izpildes gaitu:

qstat

R – running, C – completed, Q - queued

Lai redzētu kopējo uzdevumu rindu (par visiem lietotājiem):

showq

Komanda, lai noskaidrotu pieejamos skaitļošanas resursus:

showbf

Informācija par klastera mezglu pieejamību:

nodes

Lai iegūtu detalizētu informāciju par uzdevuma izpildi, kā arī iemesliem uzdevuma aizturēšanai rindā:

checkjob job_id -vvv

Uzdevumu rindas

Klastera lietotājiem pieejams vairākas virtuālas rindas, kas atšķiras pēc uzdevumu izpildes ilguma un pieejamā resursu apjoma:

batch– noklusētā rinda, piemērota uzdevumiem bez īpašām prasībām. Maksimālais uzdevumu izpildes ilgums līdz 96 stundām.
fast – rinda īsiem uzdevumiem (līdz 8 h), ar augstāku uzdevumu izpildes prioritāti. Piemērota interaktīviem un testa uzdevumiem. Vienlaicīgi izpildē (Running state) var būt tikai viens lietotāja uzdevums.
long– rinda laikietilpīgiem uzdevumiem (līdz 2 nedēļām).
highmem– rinda, lai izmantotu mezglus ar palielinātu atmiņas apjomu: līdz 1,5 TB uz procesu. Rinda ir pieejama tikai pēc saskaņošanas ar HPC centru.

Pārsniedzot uzdevuma maksimālo pieļaujamo izpildes ilgumu, uzdevums tiks automātiski pārtraukts, tāpēc iesakām regulāri saglabāt starprezultātus.

Rindu izvēlas ar “qsub -q” parametru:

qsub -q fast

Nenorādot rindu, uzdevumi tiks ievietoti noklusētājā rindā “batch”.

Detalizētāks rindu apraksts pieejams šeit.

Uzdevuma izpildes efektivitāte

Lai klastera resursus izmantotu maksimāli efektīvi, lietderīgi sekot uzdevuma reāli patērētajiem resursiem. Vairāku CPU kodolu vai pat mezglu rezervēšana vēl negarantē, ka uzdevums spēs piešķirtos resursus efektīvi izmantot.

showq –r –u

EFFIC kolona parāda vidējo attiecību (%) starp reāli izmantoto procesora laiku un rezervēto

Optimāli 70-100%
Zem 50% – uzdevums neefektīvi izmanto piešķirtos resursu – ne visus kodolus vai lielākoties gaida uz lēnām ievades/izvades operācijām. Ieteikums: samazināt paralēlo procesu skaitu
Virs 110% – nav vēlams; norāda uz lielāku resursu izmantošanu nekā rezervēts

Uzdevuma resursu izmantošanas efektivitāte lokāli skaitļošanas mezglā.

Noskaidrot, kurā mezglā uzdevums izpildās

qstat -n job_id

vai

showq -r -u

Piemērā parādītais uzdevums izpildās mezglā wn01.

2. No piekļuves mezgla (ui-1) pieslēgties ar SSH attiecīgajam skaitļošanas mezglam, piemēram, node01

ssh wn01

3. Izmantot Linux rīkus monitoringam:

htop 
dstat 
nvidia-smi 
iostat  
nfsstat

Piemēram, CPU izmantošanas efektivitātei ar komandu ‘htop’

htop, dstat, nvidia-smi, iostat, nfsstat

Sekot GPU izmantošanas efektivitātei ar komandu “nvidia-smi”

Labākā prakse uzdevumiem ar intensīvu ievadizvadi (I/O)

/home/ Lietotāja darba apgabals un faili, novietoti caur tīklu pieslēgtā disku masīvā. Ieguvumi: direktorija ir kopīga uz visiem mezgliem, tāpēc ērti lietojama. Trūkumi: nepietiekama ātrdarbība daudzām paralēlām I/O operācijām (darbs ar lielu skaitu maziem failiem, sekvencēšanas datu analīze u.tml.).

/scratch Ātrs lokālais SSD disks uz skaitļošanas mezgla.

paredzēts lietošanai tikai uzdevuma izpildes laikā
nodrošina vietu 200 GB – 960 GB (atkarībā no mezgla)
nepieciešama manuāla failu kopēšana uz un no /scratch

Lietotāji aicināti izmantot /scratch direktoriju datu intensīviem uzdevumiem.

SCRATCH izmantošanas piemērs. Komandas tiek izpildītas uz skaitļošanas mezgla, izmantojot skriptu vai interaktīvā veidā.

Uzdevuma skripta sākumā izveidojiet SCRATCH direktoriju:

SCRATCH=/scratch/$PBS_JOBID

$PBS_JOBID – mainīgais, kas satur uzdevuma ID. Tā vietā var izmantot citu unikālu nosaukumu.

2. Izmantojiet SCRATCH ievades un/vai izvades un/vai TMP failiem

#copy data to scratch 
cp $HOME/input_data $SCRATCH
#run program
./my_prog -input $SCRATCH/input_data -output $SCRATCH/output_data
#copy data back to home
cp -r  $SCRATCH/output_data $HOME

3. Uzdevuma skripta beigās notīrīt SCRATCH.

rm -rf $SCRATCH

Ne visi mezgli ir aprīkoti ar lokāliem SSD diskiem (SCRATCH), tāpēc ievietojot uzdevumu rindā, norādiet attiecīgu feature parametru, piemēram, ja nepieciešams lielāks (960 GB) SCRATCH disks

#PBS -l feature=largescratch

Vairāki ievadizvades ziņā intensīvi lietotāja uzdevumi vai paralēli procesi uz viena skaitļošanas mezgla var pārslogot caur tīklu pieslēgto datu glabātuvi un samazināt uzdevuma efektivitāti

Lai uz katra skaitļošanas mezgla izpildītu tikai 1 lietotāja uzdevumu, skripta sākumā pievienojiet:

#PBS -W x=naccesspolicy:UNIQUEUSER

Izvēlieties optimālu paralēlo procesu (threads) skaitu – ne vienmēr lielāks skaits nozīmē ātrdarbības pieaugumu.

Pāreja starp Torque/PBS Pro un SLURM komandām

Špikeris tiem, kuri iepriekš darbā izmantojuši SLURM uzdevumu pārvaldības sistēmu.

Uzdevumu pārvaldība

Uzdevuma ievietošana rindā

Brīvo resursu un uzdevumu monitorings

Uzdevumu rindas

Uzdevuma izpildes efektivitāte

Uzdevumi ar intensīvu ievadizvadi (I/O)

Pāreja starp Torque/PBS Pro un SLURM komandām

Uzdevuma ievietošana rindā

Vienkāršs uzdevums

Interaktīvs uzdevums

Uzdevuma parametri un prasības

Paralēls (MPI) uzdevums

Uzdevuma mainīgie

Uzdevuma pārtraukšana

Brīvo resursu un uzdevumu monitorings

Uzdevumu rindas

Uzdevuma izpildes efektivitāte

Labākā prakse uzdevumiem ar intensīvu ievadizvadi (I/O)

Pāreja starp Torque/PBS Pro un SLURM komandām

Kontakti

Ārējās saites