Pieslēgšanās klasterim
Darbs ar skaitļošanas klasteri notiek attālināti caur internetu, pieslēdzoties speciālam piekļuves serverim (login node), kur ir instalēta Centos7 Linux operētājsistēma ar speciāliem klastera un uzdevumu pārvaldības rīkiem. Pēc pieslēgšanās varēsiet lietot komandrindu ar Linux komandām. No komandrindas var izsaukt arī grafiskus rīkus/logus.
Lūdzam lietotājus neizmantot piekļuves serverus intensīviem aprēķiniem. Tie paredzēti tikai failu kopēšana uz/no klastera, uzdevumu sagatavošanai, ievietošanai rindā, monitoringam. Ir pieļaujama īsu (<5 min.) uzdevumu testēšana vai kompilēšana uz dažiem procesoru kodoliem. Ņemiet arī vērā, ka komandu izpilde uz piekļuves servera (arī lietojumprogrammas GUI atvēršana) vēl nenodrošina, ka uzdevums automātiski izpildīsies uz skaitļošanas mezgliem. Tam nepieciešams izmantot uzdevumu pārvaldības rīkus, kas aprakstīti sadaļā Uzdevumu pārvaldība.
Komandrindas piekļuves parametri
- Primārā servera adrese: ui-1.hpc.rtu.lv
- Rezerves servera adrese: ui-2.hpc.rtu.lv
- Protokols: Secure Shell (SSH)
- Ports: 22
- Autentifikācijai tiek izmantots lietotājvārds un parole, kuru saņēmāt reģistrējoties klastera lietošanai.
- Piekļuve tiek nodrošināta no jebkuras IP adreses.
Piekļuves rīki
Pieslēgšanas klasterim notiek, izmantojot Secure Shell (SSH) savienojumu. SSH savienojumu var izveidot ar šādiem rīkiem:
- Lietojot Linux vai MacOS operētājsistēmu, pieslēgties klasterim ar SSH palīdzību iespējams, atverot komandrindu (Terminal) un izpildot komandu:
ssh -p @ui-1.hpc.rtu.lv - Windows operētājsistēmā šim nolūkam var izmantot programmu PuTTY (lejupielādējiet no: http://www.putty.org/). Ievadāmie parametri paskaidroti iepriekš. Piemērs parādīts attēlā zemāk.
Pēc savienojuma atvēršanas, tiek pieprasīts lietotājvārds un parole. Pēc to ievadīšanas, ir iespēja lietot attālu termināli ar Unix komandām.
Grafiskais režīms komandrindā
Pieslēdzoties klasterim ar SSH savienojumu (piemēram, ar programmu PuTTY), var lietot ne tikai termināla komandrindu, bet arī grafiskos rīkus. SSH nodrošina grafiskās sesijas pārsūtīšanu (X11 forwarding) no klastera uz lietotāja datoru.
Linux vidē, pieslēdzoties klasterim, izmantojiet –X parametru
ssh -X @ui-1.hpc.rtu.lv Lai šo funkciju izmantotu MS Windows vidē, lietotāja personālajā datorā jāveic papildu sagatavošanās soļi.
- Instalējiet rīku X Windows server , kuru var lejupielādēt: https://sourceforge.net/projects/vcxsrv/.
- Palaidiet to fonā kā servisu. Pirmajā startēšanas reizē var prasīt mainīt uzstādījumus, atstājiet noklusētos.
- Papildus nepieciešama PuTTY konfigurācija darbam ar X Windows. Izmainiet saglabāto konfigurāciju priekš klastera piekļuves servera, veicot turpmāk parādītās izmaiņas:
Saglabājiet PuTTY konfigurāciju!
Piemērs: MATLAB programmatūras izsaukšana no komandrindas. Lai uz klastera piekļuves servera (ui-1.hpc.rtu.lv) startētu Matlab grafisko saskarni, pieslēdzieties klastera komandrindai, izmantojot iepriekš aprakstīto grafiskās sesijas pārsūtīšanu.
Piekļuves servera komandrindā izpildiet:
module load matlab/R2018a
matlab &Jūsu datorā tiks atvērts programmas logs, bet visas darbības tiks izpildītas attāli uz klastera. MATLAB saskarne nodrošina vajadzīgos rīkus uzdevuma ievietošanai rindā un izpildei uz skaitļošanas mezgliem.
X2Go attālinātā darbvirsma (remote desktop). Vēl viens veids, kā izmantot klasteri grafiskā režīmā, ir caur piekļuves servera grafisko darbvirsmu. Tai var pieslēgties attālināti ar X2Go klienta programmu. Darbvirsma nodrošina gan grafisko, gan komandrindas režīmu – grafiskās programmas atvērsies kā logi darbvirsmā, savukārt komandrindas komandas varēsiet izpildīt darbvirsmas termināļa logā.
Lejupielādējiet X2Go klientu: https://wiki.x2go.org/doku.php/download:start
Jaunas sesijas konfigurācija:
- Host: ui-1.hpc.rtu.lv vai ui-2.hpc.rtu.lv
- Login:
- SSH port: 22
- Try autologin: active
- Session type: XFCE
Lietotāja darba apgabals
Katram lietotājam ir izveidots darba apgabals, kur var glabāt ar uzdevumiem saistītos failus. Pieslēdzoties piekļuves servera komandrindai, automātiski nonāksiet savā darba direktorijā:
/home/usernameDirektorija ir kopīgota starp visiem klastera mezgliem, izmantojot tīkla failu sistēmu (NFS vai BeeGFS), tāpēc nav nepieciešama failu kopēšana uz un no izpildes mezgla vai starp mezgliem. Tas nozīmē – ja iekopēsiet failu piekļuves serverī, tas būs pieejams arī visos citos mezglos. Tāpat – visas izmaiņas, ko veiksiet failiem piekļuves serverī, atainosies arī mezglos.
Savā darba apgabalā lietotājs var arī instalēt/kompilēt klasterī izmantojamu lietojumprogrammatūru, ja instalācijas process neprasa administratora (root) tiesības.
Failu kopēšana. Lai ērti kopētu failus no sava datora uz klastera piekļuves serveri, MS Windows lietotāji var izmantot, piemēram, WinScp vai FAR failu menedžeri. WinScp var lejupielādēt šeit: https://winscp.net/eng/download.php. Pieslēgšana notiek līdzīgi kā ar PuTTY.
Kreisajā pusē būs redzami Jūsu datora faili, labajā – darba apgabals klasterī. Variet pārvilkt failus ar peli no viena loga uz otru.
MacOS vai Linux operētājsistēmā izmantojiet komandrindas SCP komandu vai jebkuru jums ērtu grafisko rīku. Piemērs faila kopēšanai no Linux komandrindas:
scp –r my.file username@ui-1.hpc.rtu.lv:Lietojumprogrammu moduļu lietošana
Lai sagatavotu klastera vidi dažādu lietojumprogrammu, kompilatoru, bibliotēku izmantošanai, lietotāji var izmantot moduļus (Environment Modules). Izmantojot šo iespēju, lietotājiem tiek dota iespēja ērti lietot dažādas vienas un tās pašas programmas versijas, izmantot centralizēti uzstādītus rīkus, nevis instalēt/kompilēt visu pašam. Lai iegūtu visu iespējamo moduļu (klasterī instalēto lietojumprogrammatūru un rīku) sarakstu, izpildiet komandu:
module avail
Moduli ielādē ar komandu:
module load Komanda uzstāda ceļu (PATH) uz attiecīgās programmatūras izpildāmiem failiem, bibliotēkām (LD_LIBRARY_PATH), kā arī citus nepieciešamos vides mainīgos. Modulim jābūt ielādētam uz tā mezgla, kur tiek startēta programma. Ja uzdevums tiek izpildīts uz skaitļošanas mezgla, tad modulis jāielādē arī tajā. Linux distributīvā iekļautajiem rīkiem moduļu ielāde parasti nav nepieciešama.
Noskaidrot lietotāja ielādētos moduļus:
module listLai atiestatītu moduli:
module unload [module_name]Vairāk par moduļu lietošanu: http://modules.sourceforge.net/
Personīgie moduļi
Ja lietotājs kompilē programmatūru savā darba apgabalā, ir iespēja veidot arī savus moduļus. Īsumā:
- Izveido direktoriju
/home//privatemodules - Ievieto šajā direktorijā savu moduli (paraugi: /opt/exp_soft/modulefiles)
- Uzsākot darbu vienmēr aktivizē privāto moduļu direktoriju, izpildot komandu
module load use.ownŠo komandu var ierakstīt ~/.bashrc failā, lai, uzsākot darbu, tā tiktu izpildīta automātiski.
- Pēc tam ielādē savu moduli
module load