Uzdevumu pārvaldība

Klasterī tiek izmantota speciāla uzdevumu pārvaldības sistēma, kas palīdz organizēt lietotāju uzdevumus (no angļu job/task – izpildāmā simulācija vai programmas kods). Lietotājam pieprasot uzdevuma izpildei noteiktus resursus (kodolus, atmiņu), pārvaldības sistēma pati atrod brīvus resursus un nodrošina tiemekskluzīvu piekļuvi (nepārklājas ar citu lietotāju uzdevumiem). Savukārt, lai godīgi sadalītu klastera laiku starp daudzu lietotāju uzdevumiem, tiek izmantotas virtuālas rindas. Uzdevumu izpilde klasterī iedalāms šādos etapos:

pieslēgšanās klasterim (aprakstīta sadaļā Darba uzsākšana klasterī);
uzdevuma ievietošana rindā;
izpilde un lietotāja sekošana tās statusam;
rezultātu saņemšana.

Uzdevuma ievietošana rindā

Pirms uzdevums nonāk skaitļošanas mezglā un sāk izpildīties, tas tiek ievietots virtuālā rindā. Rinda organizē resursu sadali daudzlietotāju sistēmā, kur uzdevumu skaits un prasības var pārsniegt brīvo resursu (CPU, atmiņas) apjomu. Atbrīvojoties resursiem, parasti nākamais izpildīsies tas uzdevums, kas rindā gaidījis visilgāk. Lietotājam nav jāseko, kad resursi atbrīvosies – uzdevuma pārvietošanās rindā un izpildes sākšana notiek automātiski. Ja rindas nav (ir brīvi resursi), tad uzdevums sāk izpildīties uzreiz. RTU klasterī ir vairākas rindas, kas atšķiras pēc uzdevumu izpildes ilguma un pieejamā resursu apjoma:

batch
fast
long

Detalizēts rindu apraksts sadaļā Uzdevumi ar intensvu ievadizvadi (I/O).

Vienkāršs uzdevums

Uzdevuma ievietošana rindā notiek ar speciāliem Torque/Moab klastera klienta rīkiem (izstrādātāja dokumentācija http://docs.adaptivecomputing.com/torque/6-1-2/adminGuide/torque.htm).

Komanda vienkārša uzdevuma (skripta) ievietošanai rindā:

qsub test.sh

test.sh ir bash valodas (Linux komandrindas) skripts, kurā lietotājs ieraksta secīgi izpildāmās komandas, uzdevumam nonākot skaitļošanas mezglā. Tas nodrošina pakešuzdevuma (batch) izpildi bez lietotāja līdzdalības. Skriptā var būt, piemēram, šāda komanda:

Komanda izdrukā skaitļošanas mezgla vārdu. Varat izpildīt to arī lokāli.

Skripta paraugs, lai skaitļošanas mezglā palaistu jūsu programmu ar parametriem:

Ja nepieciešams, pirms programmas izpildes ielādējiet attiecīgo moduli (skat. sadaļā Lietojumprogrammu moduļu lietošana).

Lietojumprogrammu palaišanas skriptu piemērus un citu noderīgu informāciju atradīsiet direktorijā: /opt/exp_soft/user_info

Interaktīvs uzdevums

Alternatīvi pakešuzdevumam var izmantot interaktīvu uzdevumu veidu. Interaktīvais režīms ir ērts uzdevumu testēšanai un atkļūdošanai, kā arī, ja izmantojiet grafiskus rīkus. Sākt interaktīvu uzdevumu:

qsub –I

Automātiski tiks atvērts attālināts terminālis uz skaitļošanas mezgla, kur varēsiet izpildīt nepieciešamās komandas, rakstot tās komandrindā. Komanda līdzvērtīga “ssh wn[xx]” ar atšķirību, ka resursi tiks rezervēti un neradīsies konflikti ar citiem lietotājiem.

Ja interaktīvā režīmā nepieciešams atvērtu grafisku logu, pievienojiet –X parametru:

qsub –X –I

Par grafiskās sesijas pārsūtīšanu vairāk lasiet sadaļā Klastera lietotāju saskarnes (interfeisi).

Uzdevuma parametri un prasības

Jūs variet norādīt uzdevuma parametrus un prasības, piemērām, nosaukumu, kuru rindu izmantot vai cik laika būs nepieciešams uzdevuma izpildei. Šī informācija rindu sistēmā tiks izmanta, lai atrastu uzdevumam piemērotākos resursus.

qsub –N my_job –q fast –l walltime=00:00:30 test.sh

Uzdevuma prasības var pievienot palaišanas skripta sākumā:

Komentārs. Parametrus var vienlaikus norādīt gan komandrindā, gan skriptā, tomēr dublēšanās gadījumā ar augstāku prioritāti tiks ņemti vērā komandrindas parametri.

Kā pieprasīt konkrētus skaitļošanas resursus? Definējiet prasības ar “qsub –l”, kā parametrus norādot:

kodolu skaitu

-l procs=12

mezglu un kodolu skaitu katrā mezglā (lietojiet šo pierakstu MPI uzdevumiem!)

-l nodes=2:ppn=12

konkrētu mezglu/s (var nākties ilgāk gaidīt rindā!)

-l nodes=wn44:ppn=12

-l nodes=wn44:ppn=12+wn46:ppn=12

grafisko procesoru (GPU) skaitu

-l nodes=1:ppn=12:gpus=2

nepieciešamo atmiņas apjomu

-l nodes=1:ppn=12,pmem=1g

atmiņas apjoms uz katru kodolu (procesu)

-l nodes=1:ppn=12,mem=12g

kopējais uzdevuma atmiņas apjoms

pieprasīt skaitļošanas mezglus ar noteiktiem parametriem (features). Features parasti tiek izmantotas klasteros ar dažādiem mezgliem (nehomogēnos), piemēram, lai garantētu uzdevuma izpildi tikai uz jaunākās paaudzes mezgliem (ar 36 kodoli/mezgls)

-l feature=vasara

Mezglu nosaukumus (hostnames) un parametrus varat noskaidrot sadaļā Skaitļošanas klasteris Rudens.

Vairāk par qsub komandu un parametriem varat iegūt informāciju, izpildot:

man qsub

Paralēls (MPI) uzdevums

Uzdevums tiek sadalīts uz vairākiem kodoliem vai klastera mezgliem, izmantojot Message Passing Interface (MPI) protokolu.

Ievietot rindā paralēlu uzdevumu, kam izpildei nepieciešami 24 kodoli (2 mezgli × 12 kodoli katrā mezglā):

qsub -l nodes=2:ppn=12 run_mpi.sh

vai nenorādot konkrētu mezglu skaitu

qsub -l procs=24 run_mpi.sh

run_mpi.sh skripta piemērs:

MPI piemērus atradīsiet klastera direktorijā:

/opt/exp_soft/users_info/mpi

Uzdevuma mainīgie

Uzdevuma skriptā parocīgi izmantot mainīgos, kuri uzstādās automātiski uzdevumam nonākot uz skaitļošanas mezgla.

$PBS_O_WORKDIR – direktoriju, no kuras uzdevums tika ievietots rindā
$PBS_NODEFILE – saraksts ar uzdevumam rezervētajiem mezgliem
$PBS_GPUFILE– saraksts ar uzdevumam rezervētajiem GPU
$PBS_NUM_NODES – uzdevumam rezervētais mezglu skaits
$PBS_NUM_PPN – rezervētais kodolu skaits katrā mezglā
$PBS_NP – kopējais uzdevumam rezervētais kodolu skaits
$ PBS_JOBID – uzdevuma identifikators

Piemēram, lai pārietu uz direktoriju, no kuras uzdevums tika ievietots rindā:

cd $PBS_O_WORKDIR

Lai iegūtu sarastu ar visiem mainīgajiem, sāciet interaktīvu uzdevumu (qsub –I) un izpildiet komandu:

env | grep PBS

Uzdevuma pārtraukšana

Izpildē esošu vai rindā gaidošu uzdevumu patrauc ar komandu:

qdel [job_id]

vai

canceljob [job_id]

job_id – uzdevuma identifikators.

Pārtraukt visus lietotāja uzdevumus:

qdel ‘all’

Rindas, mezglu un uzdevumu monitorings

Komanda, lai pārbaudītu rindā ievietoto uzdevumu izpildes gaitu:

qstat

R – running, C – completed, Q - queued

Lai redzētu kopējo uzdevumu rindu (par visiem lietotājiem):

showq

Komanda, lai noskaidrotu pieejamos skaitļošanas resursus:

showbf

vai detalizētākai informācijai:

pbsnodes

Lai iegūtu detalizētu informāciju par uzdevuma izpildi, kā arī iemesliem uzdevuma aizturēšanai rindā:

checkjob job_id -vvv

Uzdevuma izpildes efektivitāte

Lai klastera resursus izmantotu maksimāli efektīvi, lietderīgi sekot uzdevuma reāli patērētajiem resursiem. Vairāku CPU kodolu vai pat mezglu rezervēšana vēl negarantē, ka uzdevums spēs piešķirtos resursus efektīvi izmantot.

CPU izmantošanas efektivitāte visiem izpildē esošiem lietotāja uzdevumiem (komandas veicamas uz piekļuves mezgla ui-1).

showq –r –u

EFFIC kolona parāda vidējo attiecību (%) starp reāli izmantoto procesora laiku un rezervēto

Optimāli 70-100%;
Zem 50% – uzdevums neefektīvi izmanto piešķirtos resursu – ne visus kodolus vai lielākoties gaida uz lēnām ievades/izvades operācijām. Ieteikums: samazināt paralēlo procesu skaitu;
Virs 110% – nav vēlams; norāda uz lielāku resursu izmantošanu nekā rezervēts;

Uzdevuma resursu izmantošanas efektivitāte lokāli skaitļošanas mezglā:

Noskaidrot, kurā mezglā uzdevums izpildās

qstat -n job_id

vai

showq -r -u

2. No piekļuves mezgla (ui-1) pieslēgties ar SSH attiecīgajam skaitļošanas mezglam, piemēram, node01

ssh wn01

3. Izmantot Linux rīkus monitoringam:

htop 
dstat 
nvidia-smi 
iostat  
nfsstat

Piemēram, CPU izmantošanas efektivitātei ar komandu

htop

Sekot GPU izmantošanas efektivitātei

Uzdevumi ar intensīvu ievadizvadi (I/O)

Optimāla failu novietošana

/home/<username> Lietotāja darba apgabals un faili, novietoti caur tīklu pieslēgtā disku masīvā. Ieguvumi: direktorija ir kopīga uz visiem mezgliem, tāpēc ērti lietojama. Trūkumi: nepietiekama ātrdarbība daudzām paralēlām I/O operācijām (darbs ar lielu skaitu maziem failiem, sekvencēšanas datu analīze u.tml.).

/scratch Ātrs lokālais SSD disks uz skaitļošanas mezgla.

paredzēts lietošanai tikai uzdevuma izpildes laikā
nodrošina vietu 200 GB – 960 GB (atkarībā no mezgla)
nepieciešama manuāla failu kopēšana uz un no

/scratch

Lietotāji aicināti izmantot /scratch direktoriju datu intensīviem uzdevumiem.

SCRATCH izmantošanas piemērs

Komandas tiek izpildītas uz skaitļošanas mezgla, izmantojot skriptu, vai interaktīvā veidā.

Uzdevuma skripta sākumā izveidojiet SCRATCH direktoriju $PBS_JOBID – mainīgais, kas satur uzdevuma ID. Tā vietā var izmantot citu unikālu nosaukumu.

2. Izmantojiet SCRATCH ievades un/vai izvades un/vai TMP failiem.

3. Uzdevuma skripta beigās notīrīt SCRATCH.

Ne visi mezgli ir aprīkoti ar lokāliem SSD diskiem (SCRATCH), tāpēc ievietojot uzdevumu rindā, norādiet attiecīgu feature parametru, piemēram, ja nepieciešams lielāks (960 GB) SCRATCH disks.

#PBS -l feature=largescratch

Citi apsvērumi I/O veiktspējas uzlabošanai

Vairāki ievadizvades ziņā intensīvi lietotāja uzdevumi vai paralēli procesi uz viena skaitļošanas mezgla var pārslogot caur tīklu pieslēgto datu glabātuvi un samazināt uzdevuma efektivitāti

Lai uz katra skaitļošanas mezgla izpildītu tikai 1 lietotāja uzdevumu, skripta sākumā pievienojiet:

#PBS -W x=naccesspolicy:UNIQUEUSER

Izvēlieties optimālu paralēlo procesu (threads) skaitu – ne vienmēr lielāks skaits nozīmē ātrdarbības pieaugumu.

Uzdevumu rindas

Klastera lietotājiem pieejams vairākas virtuālas rindas, kas atšķiras pēc uzdevumu izpildes ilguma un pieejamā resursu apjoma. Rindu izvēlas ar “qsub -q” parametru. Nenorādot rindu, uzdevumi tiks ievietoti rindā “batch”.

Pārsniedzot uzdevuma maksimālo pieļaujamo izpildes ilgumu, uzdevums tiks automātiski pārtraukts. Iesakām regulāri saglabāt starprezultātus.

batch – noklusētā rinda; piemērota uzdevumiem bez īpašām prasībām (līdz 96 h).

Skaitļošanas mezgli:	wn[01-35, 37, 39, 42-60]
Uzdevuma ilgums (walltime):	12h (maks. 96 h)*
Fiziskā atmiņa uz vienu izmantoto kodolu:	1 GB (maks. 10 GB)
Kodolu skaits/ uzdevums:	1 (maks. bez limita)
Maksimālais izpildošos uzdevumu skaits/lietotājs (running):	bez limita
Maksimālais rindā ievietojamo uzdevumu skaits/lietotājs (queued + running):	2000

fast – īsiem uzdevumiem (līdz 8 h); ar augstāku uzdevumu izpildes prioritāti; piemērota interaktīviem un testa uzdevumiem.

Skaitļošanas mezgli:	wn[01-35, 37, 39, 42-60]
Uzdevuma ilgums (walltime):	1h (maks. 8 h)
Fiziskā atmiņa uz vienu izmantoto kodolu:	2 GB (maks. 10 GB)
Kodolu skaits/ uzdevums:	1 (maks. 72)
Maksimālais izpildošos uzdevumu skaits/lietotājs (running):	1
Maksimālais rindā ievietojamo uzdevumu skaits/lietotājs (queued + running):	2

long – rinda laikietilpīgiem uzdevumiem (līdz 2 nedēļām).

Skaitļošanas mezgli:	wn[01-35, 37, 39, 42-60]
Uzdevuma ilgums (walltime):	48h (maks. 336 h)
Fiziskā atmiņa uz vienu izmantoto kodolu:	2 GB (maks. 10 GB)
Kodolu skaits/ uzdevums:	1 (maks. 72)
Maksimālais izpildošos uzdevumu skaits/lietotājs (running):	30
Maksimālais rindā ievietojamo uzdevumu skaits/lietotājs (queued + running):	30

highmem – piekļuve lielas atmiņas (līdz 1,5 TB) mezgliem.

Skaitļošanas mezgli:	wn[01-11]
Uzdevuma ilgums (walltime):	12h (maks. 96 h)
Fiziskā atmiņa uz vienu izmantoto kodolu:	6 GB (maks. 1,5 TB)
Kodolu skaits/ uzdevums:	1 (maks. 72)
Maksimālais izpildošos uzdevumu skaits/lietotājs (running):	bez limita
Maksimālais rindā ievietojamo uzdevumu skaits/lietotājs (queued + running):	20

NB. Highmem rinda pieejama tikai pēc saskaņošanas ar HPC centru!

* 12h (maks. 96 h) nozīmē, ka 12 h ir noklusētā vērtība, kas tiks iekļauta uzdevuma prasībās, ja lietotājs nenorāda citu; maks. 96 h – maksimālā pieļaujamā vērtība, kuru pārsniedzot, uzdevums dotajā rindā darboties nevarēs.

Pāreja starp Torque/PBS Pro un SLURM komandām

Špikeris tiem, kuri iepriekš darbā izmantojuši SLURM uzdevumu pārvaldības sistēmu.

Uzdevumu pārvaldība

Uzdevuma ievietošana rindā

Rindas, mezglu un uzdevumu monitorings

Uzdevuma izpildes efektivitāte

Uzdevumi ar intensīvu ievadizvadi (I/O)

Uzdevumu rindas

Pāreja starp Torque/PBS Pro un SLURM komandām

Uzdevuma ievietošana rindā

Vienkāršs uzdevums

Interaktīvs uzdevums

Uzdevuma parametri un prasības

Paralēls (MPI) uzdevums

Uzdevuma mainīgie

Uzdevuma pārtraukšana

Rindas, mezglu un uzdevumu monitorings

Uzdevuma izpildes efektivitāte

Uzdevumi ar intensīvu ievadizvadi (I/O)

Optimāla failu novietošana

SCRATCH izmantošanas piemērs

Citi apsvērumi I/O veiktspējas uzlabošanai

Uzdevumu rindas

Pāreja starp Torque/PBS Pro un SLURM komandām

Kontakti

Ārējās saites